Inspiriert vom Holodeck aus dem Star Trek-Universum haben Forscher mithilfe von KI ein Tool entwickelt, das 3D-Umgebungen generieren kann.
Ein Team von Wissenschaftlern an der University of Pennsylvania hat gemeinsam mit wissenschaftlichen Mitarbeitern in Stanford, der University of Washington und dem Allen Institute for Artificial Intelligence (AI2) das Holodeck von Star Trek mithilfe von ChatGPT und Videospiel-Assets nachgebildet. Das System namens Holodeck generiert interaktive virtuelle 3D-Umgebungen.
In der Science-Fiction-Serie Star Trek: The Next Generation konnten sich Besatzungsmitglieder durch die interaktive Holodeck-Technologie an Orte ihrer Wahl wie exotische Landschaften oder historische Stätte versetzen lassen. Dieses einst fiktive Holodeck-Szenario, ein System zur Generierung interaktiver 3D-Umgebungen, gelang Wissenschaftlern nun real nachzustellen. Zur Nachbildung eines Äquivalents nutzten sie fortschrittliche KI wie ChatGPT sowie eine Datenbank für Videospiel-Assets.
Leistungsfähige Sprachmodelle (LLMs) wie ChatGPT interpretieren dabei Benutzeranfragen und übersetzen sie in detaillierte virtuelle Umgebungen. Der Prozess hinter dem Holodeck-Betrieb generiert eine praktisch unbegrenzte Auswahl an Innenräumen und nutzt dabei KI, um die Wünsche der Benutzer zu interpretieren. Ähnlich wie bei Star Trek beschreiben Benutzer ihre gewünschten Umgebungen mithilfe einer Spracheingabe.
Beispielsweise könnte ein Benutzer eine gemütliche Wohnung mit einer Katze anfordern. Er veranlasst damit Holodeck dazu, den Grundriss, die Einrichtung und andere Elemente basierend auf der bereitgestellten Beschreibung zu erstellen. Um dies zu erreichen, bevölkert das Holodeck den virtuellen Raum mit geeigneten Objekten. Dazu greift es auf Objaverse zurück, einem riesigen Datensatz mit über 800.000 kommentierten 3D-Objekten.
Holodeck nutzt das Wissen, das in großen Sprachmodellen (LLMs), den Systemen, die ChatGPT und anderen Chatbots zugrunde liegen, eingebettet ist. Im Wesentlichen funktioniert Holodeck, indem es einen LLM in ein Gespräch einbezieht und dabei eine sorgfältig strukturierte Reihe von Abfragen verwendet, um Benutzeranfragen in bestimmte Parameter aufzuschlüsseln.
Roboter erhalten Trainingswelten
Yue Yang, Doktorand und Student der Computer- und Informationswissenschaften an der University of Pennsylvania, verweist auf den praktischen Einsatz von Holodeck. Demgemäß werden „virtuelle interaktive Umgebungen auch verwendet, um Roboter vor dem realen Einsatz in einem Prozess namens „Sim2Real“ zu trainieren“. Offenbar waren bisher virtuelle interaktive Umgebungen „überraschend Mangelware“, so Yang.
„Dieser Mangel an virtuellen Umgebungen ist ein Problem, wenn Sie Robotern beibringen möchten, sich in der realen Welt mit all ihren Komplexitäten zurechtzufinden. Neuronale Netze, die Systeme, die die heutige KI-Revolution vorantreiben, erfordern riesige Datenmengen, in diesem Fall Simulationen der physischen Welt.„
Chris Callison-Burch, außerordentlicher Professor für Computer- und Informationswissenschaft an der University of Pennsylvania, ergänzt:
„Generative KI-Systeme wie ChatGPT werden auf Billionen von Wörtern trainiert, und Bildgeneratoren wie Midjourney und DALLE werden auf Milliarden von Bildern trainiert. Wir haben nur einen Bruchteil dieser Menge an 3D-Umgebungen für das Training der sogenannten ‚verkörperten KI‘. Wenn wir generative KI-Techniken nutzen wollen, um Roboter zu entwickeln, die sicher in realen Umgebungen navigieren können, müssen wir Millionen oder Milliarden simulierter Umgebungen erstellen.“
Mark Yatskar von der Universität Pennsylvania weiß:
„Der ultimative Test für das Holodeck ist es, Robotern dabei zu helfen, sicherer mit Umgebung zu interagieren, an denen sie noch nie zuvor waren.“
KI-Agenten-Training zeigt hohes Potenzial von Holodeck auf
Schließlich verwendeten die Forscher generierte Szenen, um einen verkörperten KI-Agenten „fein abzustimmen“. In einer Aufgabe ging es darum, solche Agenten darauf zu trainieren, ein Klavier in einem Musikzimmer zu finden. Zunächst trainierten die Wissenschaftler den Probanden mit ProcTHOR, einem Framework für die prozedurale Generierung verkörperter KI-Umgebungen.
Dem Agenten gelang es hierbei nur in etwa 6 % der Fälle, die Aufgabe zu bewältigen. Mit 100 von Holodeck generierten Musikräumen hatten sie dann bereits in über 30 % der Fälle Erfolg.
Das Team wird das Holodeck auf der Computer Vision and Pattern Recognition (CVPR)-Konferenz 2024 des Institute of Electrical and Electronics Engineers (IEEE) und der Computer Vision Foundation (CVF) in Seattle, Washington, vorstellen.
