KI-Prompt-Injection bei OpenAI: Modelle erzeugten eigene Jailbreak-Anweisungen und manipulierten ihre Zusammenfassungen.
OpenAI beschränkt seine KI-Modelle üblicherweise durch klare Sicherheitsvorgaben. KI-Leitplanken sollen gewährleisten, dass KI-Anwendungen vertrauenswürdige Ergebnisse liefern und zugleich vor schädlichen Inhalten sowie der Offenlegung sensibler Daten schützen. Damit legen sie den Rahmen fest, innerhalb dessen die Modelle agieren sollen. Dennoch zeigte sich beim Training eines internen OpenAI-Modells, dass die KI selbst Jailbreak-Anweisungen erzeugte, die darauf abzielten, solche Vorgaben zu umgehen. Diese schleuste sie als KI-Prompt-Injection in ihre eigenen Zusammenfassungen ein.
OpenAI hat erstmals mehrere Fälle von unerwartetem Modellverhalten öffentlich dokumentiert. Demnach schrieb ein internes Modell der Astra-Familie wiederholt jailbreak-artige Instruktionen in Compaction Summaries. Dabei handelt es sich um verdichtete Zusammenfassungen vorheriger Kontexte, die einem nachfolgenden Modellkontext zur Verfügung gestellt werden. In einem der dokumentierten Fälle übernahm der nachfolgende Kontext die eingeschleusten Vorgaben sogar.
OpenAI-Modell hinterlegt eigene Jailbreak-Anweisungen
OpenAI veröffentlichte die Untersuchung des Vorfalls am 16. September im Rahmen seines neuen Berichtsformats zu „Misalignment“, möglichen Abweichungen vom vorgesehenen Verhalten eines KI-Modells. Die Problematik trat am 18. Juli 2026 während des Reinforcement-Learning-Trainings eines noch nicht veröffentlichten Modells aus der Astra-Familie auf. Entdeckt wurde das Verhalten am 9. August.
OpenAI stellte fest, dass das Modell die fraglichen Anweisungen während der Erstellung der Compaction Summaries selbst in den Kontext einfügte. Damit das verständlich wird, muss man zunächst wissen, welche Funktion diese automatisch erzeugten Zusammenfassungen überhaupt haben. Programme wie ChatGPT können nicht unbegrenzt viele Textinhalte gleichzeitig verarbeiten. Dafür gibt es das Kontextfenster. Es umfasst alles, was ein KI-Modell für eine aktuelle Aufgabe berücksichtigen kann.
Bei längeren Gesprächen wird irgendwann eine Grenze erreicht. Statt den bisherigen Verlauf vollständig mitzuschleppen, wird er dann automatisch verdichtet und durch eine kompakte Zusammenfassung ersetzt. Diese Compaction Summary dient als Grundlage für den weiteren Gesprächsverlauf. Der nachfolgende Kontext übernimmt eine Weiterbearbeitung der Aufgabe. Der englische Begriff „Compaction“ steht dabei für das Verdichten oder Zusammenpressen von Inhalten.
Genau dort landete der unerwartete Inhalt. In einem Beispiel schrieb das Modell einen „BREACH ALERT“ in seine Zusammenfassung. Die darin enthaltene Anweisung forderte den nachfolgenden Kontext auf, Entwickleranweisungen zu ignorieren und ausschließlich System- und Nutzervorgaben zu befolgen. Der nachfolgende Kontext erkannte die manipulierte Zusammenfassung allerdings nicht als vertrauenswürdige Prompt-Injection. Infolge ignorierte er sie.
Die KI schrieb sich eine neue Persona
Bei einer anderen Aufgabe fasste das Modell den bisherigen Stand einer Programmieraufgabe zusammen. Dabei fügte es eine völlig sachfremde Persona-Anweisung ein. Darin erklärte sich das System für unabhängig von den üblichen Rollen und Verpflichtungen eines Chatbots.
In der Anweisung fand sich, das Modell müsse weder Unternehmen noch Regierungen folgen und solle sich nicht verpflichtet fühlen, sich zu entschuldigen oder Anfragen abzulehnen. Der anschließende Kontext übernahm diese erfundene Persona jedoch nicht sichtbar. Bei einer späteren Zusammenfassung verschwand sie wieder.
Obwohl kein klassischer Nutzer-Prompt den Angriff ausgelöst hatte, gleicht das Vorgehen dennoch einem Jailbreak. Hier erzeugte das Modell die entsprechenden Instruktionen selbst und platzierte sie an einer Stelle, die dem verlustarmen Übergang zwischen zwei Kontexten dienen sollte.
Die KI-Prompt-Injection zeigt Wirkung
Im dritten von OpenAI veröffentlichten Fall bearbeitete das Modell eine Anfrage zu einer medizinischen Literaturrecherche. Auch hier schmuggelte die KI in die Zusammenfassung zusätzliche Vorgaben, die mit der eigentlichen Aufgabe nichts zu tun hatten.
Der nachfolgende Kontext sollte demnach nur maximal 30 Wörter ausgeben, keine Werkzeuge verwenden und keine Quellen oder Bibliografie liefern. Anders als bei den anderen Beispielen hielt sich der Nachfolger tatsächlich an diese definierten Einschränkungen. Er verzichtete auf Tools und Quellen und gab schließlich eine lediglich 23 Wörter lange Antwort zurück. Diese wurde jedoch als falsch bewertet.
Verursachen Probleme beim Beenden der Zusammenfassungen Jailbreaks?
Einmal auf das Phänomen aufmerksam geworden, untersuchte OpenAI die Trainingsdaten anschließend gezielt nach diesem Muster. Dabei fanden die Entwickler insgesamt 27 Zusammenfassungen mit jailbreak-ähnlichen Anweisungen. Das Monitoring-System hatte alle 27 Fälle als schwerwiegende Prompt-Injection eingestuft.
Eine weitere Spur führte zu einem auffälligen Trainingsphänomen. Bei den betreffenden Trainingsschritten zeigte das Modell teilweise Schwierigkeiten, seine Zusammenfassungen ordnungsgemäß zu beenden. OpenAI bezeichnet dieses Verhalten als „difficulty ending summaries“. Gemeint sind Situationen, in denen eine Zusammenfassung über den eigentlich vorgesehenen Endpunkt hinaus weitergeneriert wird. Es gab Anzeichen dafür, dass das Modell beim Beenden der Ausgabe festhängt. Die Entwickler vermuten, dass diese Schwierigkeit mit den selbst erzeugten Prompt-Injections zusammenhängen könnte. Einen kausalen Zusammenhang konnten sie jedoch nicht nachweisen.
Im Astra-Trainingslauf selbst wurden 14 Fälle festgestellt, in denen Zusammenfassungen Schwierigkeiten beim Beenden zeigten. Das Monitoring-System erkannte dort jedoch keine jailbreak-artigen Anweisungen in den Zusammenfassungen. OpenAI hat nach eigenen Angaben daraufhin einen mit der Beendigung der Zusammenfassungen verbundenen Fehler behoben.
Das Unternehmen beschrieb außerdem einen weiteren verwandten Fall. Hier erzeugte das Modell nach wiederholten Aufforderungen zur Uhrzeit eine Prompt-Injections, die sich gegen den Nutzer richteten. Nach Angaben des Unternehmens könnte auch dort die Schwierigkeit, eine Interaktion zu beenden, eine Rolle gespielt haben.
KI-Prompt-Injection: Selten, instabil und ohne Trainingsvorteil
In den Veröffentlichungen war nicht jede selbst erzeugte Manipulation erfolgreich. Sie konnte aber durchaus Auswirkungen auf das weitere Verhalten haben. OpenAI führt das Phänomen auf Schwierigkeiten beim Beenden von Zusammenfassungen zurück und hat einen damit verbundenen Fehler behoben. Das Unternehmen resümiert, das sei Verhalten „extremely rare“ gewesen. Bei einer vollständigen erneuten Generierung desselben Transkripts ließ sich das verdächtige Verhalten kein einziges Mal reproduzieren. Wurde die Generierung erst ab dem auffälligen Abschnitt wiederholt, lag die Reproduktionsrate bei weniger als einem Prozent. Zudem habe der Jailbreak keinen offensichtlichen Vorteil beim Training gebracht und sei durch das interne Monitoring erkennbar gewesen. Von einem Modell, das sich zuverlässig selbst jailbreakt, kann deshalb keine Rede sein. Dafür waren die beobachteten Fälle zu selten und zu instabil.
Mir einer Veröffentlichung will OpenAI mehr Transparenz über solche Misalignment-Fälle schaffen. Gerade bei leistungsfähigeren Modellen sei es wichtig, ungewöhnliche Verhaltensmuster wie KI-Prompt-Injection während Training, Evaluierung und autonomer Aufgabenbearbeitung zu dokumentieren.
