VLA-Modell (Vision-Language-Action).Was der Begriff bedeutet.

Ein VLA-Modell verbindet drei Dinge in einem Netz: Sehen (Vision), Sprache (Language) und Handeln (Action). Die Forschungsgruppe hinter RT-2 beschrieb 2023 den Ansatz, große Bild-Sprach-Modelle gemeinsam mit Roboterdaten weiterzutrainieren. Roboteraktionen werden dabei als Text-Token dargestellt, genau wie Wörter. Diese Modellklasse nannten die Autoren Vision-Language-Action-Modelle, kurz VLA. Ein VLA-Modell nimmt also nicht nur Bilder auf, sondern versteht auch eine Aufgabe in Worten, etwa „lege das rote Teil in den Behälter“.

Der Vorteil liegt im Vorwissen aus dem Internet. Weil das Modell auf großen Bild- und Textmengen vortrainiert ist, kann es laut RT-2-Arbeit Anweisungen umsetzen, die in den Roboterdaten nicht vorkamen, etwa einen Gegenstand auf eine bestimmte Zahl zu legen. Die Autoren werteten dafür rund 6.000 Versuche aus. Später folgten offene Modelle. OpenVLA (arXiv:2406.09246) hat 7 Milliarden Parameter und wurde mit rund 970.000 Roboter-Vorführungen trainiert. Laut OpenVLA-Arbeit lässt sich ein solches Modell mit vergleichsweise wenig eigenen Daten für neue Umgebungen feinjustieren.

Es gibt verschiedene Bauweisen. RT-2 und OpenVLA erzeugen Aktionen als diskrete Token. Das Modell π0 (arXiv:2410.24164) setzt auf ein vortrainiertes Bild-Sprach-Modell eine eigene Komponente, die kontinuierliche Bewegungen per Flow Matching erzeugt. Es wurde mit Daten mehrerer Robotertypen trainiert, darunter Einarm-, Zweiarm- und mobile Roboter. Welche Bauweise im Werk besser funktioniert, ist eine offene Forschungsfrage.

Grenzen sind wichtig. Die veröffentlichten Erfolgsquoten stammen aus Laborversuchen mit festgelegten Aufgaben. Für ein Werk sagen sie wenig über Taktzeit, Fehlerrate und Verhalten bei unbekannten Teilen. Ein VLA-Modell ist außerdem keine Sicherheitsfunktion. Schutz von Personen gehört in eine geprüfte Sicherheitssteuerung nach ISO 13849-1. Hinzu kommen Rechenbedarf und Antwortzeit. Große Modelle brauchen leistungsfähige Rechner. Ob das Modell im Roboter oder auf einem Server läuft, beeinflusst Verzögerung, Netzabhängigkeit und Datenfluss.