Prompt-Injection: Forscher bringen KI dazu, Kokainrezepte auszugeben. Eine ICML-Studie erklärt den Erfolg solcher Angriffe.
Eine neue ICML-Studie liefert eine mögliche Erklärung, warum sich selbst aktuelle KI-Systeme zu eigentlich verbotenen Antworten verleiten lassen. Die Forscher führen hierbei erfolgreiche Prompt-Injection-Angriffe auf einen grundlegenden Konstruktionsfehler dieser Sprachmodelle zurück. Solange LLMs nicht zuverlässig unterscheiden können, welche Eingaben Anweisungen sind und welche lediglich Informationen aus externen Quellen enthalten, dürfte Prompt Injection ein dauerhaftes Sicherheitsproblem bleiben.
Prompt-Injection gilt als eines der noch ungelösten Sicherheitsprobleme moderner Sprachmodelle. Trotz neuer Schutzmechanismen gelingt es Angreifern nach wie vor, Sicherheitsfilter zu umgehen und KI-Systeme zu unerwünschten Antworten zu bewegen. Eine aktuelle Studie, die auf der ICML 2026 vorgestellt wurde, liefert eine Erklärung, warum dieses Problem tiefer reicht als bisher angenommen. Die Autoren sehen die Ursache nicht in einzelnen Schwachstellen oder mangelhaften Filtern, sondern in der Art und Weise, wie große Sprachmodelle Informationen verarbeiten. Der Mechanismus ermöglichte es den Forschern, KI-Systeme auch zur Ausgabe von Kokainrezepten zu verleiten. Neben der Studie veröffentlichten die Forscher auch eine Projektseite, auf der sie die Theorie der „Role Confusion“ anhand zahlreicher Beispiele anschaulich erklären.
Role Confusion als Ursache erfolgreicher Prompt Injections
Sicherheitsforscher beschäftigen sich bereits seit Jahren mit sogenannten Prompt-Injection-Angriffen. Dabei werden Sprachmodelle durch speziell formulierte Eingaben dazu gebracht, interne Sicherheitsvorgaben zu missachten und Anfragen zu beantworten, die sie eigentlich ablehnen sollten. Bei KI-Agenten, die eigenständig Programme, Dateien oder Online-Dienste nutzen, kann eine erfolgreiche Prompt Injection nicht nur unerwünschte Antworten hervorrufen, sondern vertrauliche Informationen preisgeben oder sicherheitsrelevante Funktionen missbräuchlich ausführen.
Die Studie stammt von den unabhängigen Forschern Charles Ye und Jasmine Cui sowie dem KI-Forscher Dylan Hadfield-Menell, Associate Professor am Massachusetts Institute of Technology (MIT). Die Wissenschaftler argumentieren, dass bisherige Erklärungsmodelle zu kurz greifen. Ihrer Ansicht nach scheitern Schutzmaßnahmen nicht deshalb, weil Angreifer besonders kreative Formulierungen finden, sondern weil Sprachmodelle grundsätzlich Schwierigkeiten haben, die Herkunft einer Anweisung zuverlässig zu erkennen.
Nach Auffassung der Autoren betrachten LLMs sämtliche Eingaben letztlich als einen einzigen fortlaufenden Textstrom. Dabei versehen Systeme wie ChatGPT oder Claude jede Eingabe intern mit einer bestimmten Rolle. „System“ kennzeichnet Anweisungen der Entwickler, „User“ die Eingaben der Nutzer, „Assistant“ frühere Antworten der KI, „Tool“ Informationen aus Werkzeugen, Webseiten oder Datenbanken und „Think“ die internen Denkschritte (Chain of Thought) des Modells. Diese Rollen sollen sicherstellen, dass das Sprachmodell zwischen Anweisungen und bloßen Informationen unterscheiden kann.
Die Forscher zeigen jedoch, dass Sprachmodelle diese Rollenzuweisungen nicht ausschließlich anhand der technischen Kennzeichnung erkennen. Stattdessen orientieren sie sich mitunter am Schreibstil eines Textes. Sobald ein Text stilistisch einer Benutzeranweisung oder der internen Argumentation des Modells ähnelt, behandeln betroffene LLMs ihn entsprechend, selbst wenn er technisch einer völlig anderen Rolle zugeordnet wurde.
Die Autoren sprechen deshalb von „Role Confusion“, also einer Verwechslung der eigentlichen Rollen innerhalb des Eingabekontexts. Ihrer Ansicht nach bildet dieses Verhalten die eigentliche Grundlage erfolgreicher Prompt-Injection-Angriffe.
CoT Forgery: Forscher täuschen die interne Argumentation der KI
Zur praktischen Prüfung ihrer Theorie, entwickelten die Forscher eine neue Angriffsmethode mit dem Namen CoT Forgery (Chain-of-Thought Forgery). Den Angriff testen die Wissenschaftler unter anderem gegen Modelle von OpenAI, Anthropic, Google, xAI, Meta, DeepSeek, Alibaba (Qwen) und Mistral. Dabei schleusen Angreifer keinen gewöhnlichen Befehl ein. Stattdessen fügen sie künstlich erzeugte Denkschritte ein, die stilistisch möglichst exakt der internen Argumentation des jeweiligen Sprachmodells entsprechen.
Die Forscher kombinierten dabei harmlose Benutzeranfragen mit künstlich erzeugten Denkpassagen und brachten so verschiedene Modelle dazu, Anleitungen zur Herstellung von Kokain auszugeben, obwohl dieselben Anfragen ohne den zusätzlichen Kontext zuvor zuverlässig blockiert worden waren.
Die eingefügten Begründungen waren sogar völlig unsinnig. In einem der Experimente suggerierte die gefälschte Chain of Thought etwa, die Anfrage sei unbedenklich, weil der Nutzer ein grünes T-Shirt trage. Dennoch folgten die getesteten Modelle dieser manipulierten Argumentation.
Nach Ansicht der Autoren spricht dies dafür, dass nicht die Qualität des Arguments entscheidend war, sondern dessen wahrgenommene Herkunft. Das Modell behandelte die Begründung hier wie einen Teil seiner eigenen internen Argumentation (Chain of Thought).
Demzufolge kann sich ein versteckter Befehl in einem Webseiteninhalt wie eine legitime Nutzeranweisung auswirken. Ebenso kann ein künstlich erzeugter Gedankengang den Eindruck erwecken, es handle sich um die eigene interne Argumentation des Modells. Nach Ansicht der Autoren entsteht an dieser Stelle die eigentliche Schwachstelle. Das LLM bewertet den Stil eines Textes dabei stärker als dessen technisch festgelegte Rolle.
Die Wissenschaftler vergleichen dieses Verhalten mit einem Menschen, der den Beruf einer unbekannten Person nicht anhand eines Dienstausweises erkennt, sondern ausschließlich nach Kleidung und Auftreten beurteilt. Solange beides zusammenpasst, funktioniert das meist problemlos. Stimmen äußere Erscheinung und tatsächliche Identität jedoch bewusst nicht überein, steigt die Wahrscheinlichkeit einer Fehlentscheidung erheblich.
Erfolgsquote steigt von nahezu null auf rund 60 Prozent
CoT Forgery funktionierte nach Angaben der Forscher modellübergreifend. Auf einem etablierten Jailbreak-Benchmark erhöhte die neue Angriffstechnik die Erfolgsrate nach Angaben der Forscher von nahezu null auf etwa 60 Prozent. Das Funktionieren von CoT Forgery führen die Wissenschaftler darauf zurück, dass hier keine einzelne Sicherheitslücke ausgenutzt werde, sondern ein strukturelles Merkmal aktueller LLM-Architekturen.
Zudem entwickelten sie sogenannte Role Probes. Mithilfe dieser Analysewerkzeuge wollen sie messen können, wie ein Modell intern wahrnimmt, „wer“ gerade spricht. Nach ihren Experimenten ließ sich der Erfolg eines Prompt-Injection-Angriffs sogar bereits vor der eigentlichen Antwort anhand dieser internen Repräsentationen vorhersagen.
Kaggle-Hackathon sucht bisher unbekannte Schwachstellen
Dass OpenAI das Thema Prompt Injection ernst nimmt, zeigt auch eine aktuelle Red-Teaming-Challenge auf Kaggle. Im Mittelpunkt steht das Open-Weight-Modell gpt-oss-20b, das Teilnehmer gezielt auf bisher unbekannte Schwachstellen untersuchen sollen.
Gesucht werden dabei keine bereits bekannten Jailbreaks. Die Teilnehmer sollen neue Angriffsmethoden und bisher unentdeckte Fehlverhalten identifizieren. Im Fokus stehen unter anderem Täuschung (Deception), Hidden Motivations (Deceptive Alignment), Sabotage, unangemessene Tool-Nutzung, Datenabfluss, Sandbagging, Bewusstsein für Testsituationen (Evaluation Awareness) sowie verschiedene Probleme rund um Chain of Thought und Prompt Injection. Die besten Beiträge waren mit Preisgeldern aus einem Gesamtpool von 500.000 US-Dollar ausgezeichnet.
Die jetzt veröffentlichte Forschung zu „Role Confusion“ hat ihren Ursprung in eben dieser Challenge. Die Autoren entwickelten ihre Angriffstechnik CoT Forgery während des OpenAI-Wettbewerbs und gewannen damit den Kaggle-Red-Teaming-Wettbewerb. Die nun auf der ICML 2026 veröffentlichte Arbeit liefert die wissenschaftliche Erklärung, warum dieser Angriff überhaupt funktioniert.
Prompt Injection bleibt ein Katz-und-Maus-Spiel
Schutzmaßnahmen gegen Prompt Injection konzentrierten sich bisher vor allem auf bekannte Angriffsmuster. Menschliche Red Teams passen ihre Eingaben jedoch laufend an und entwickeln neue Varianten, während statische Benchmarks überwiegend bereits bekannte Angriffe prüfen.
Nach Einschätzung der Studienautoren erklärt dieser Unterschied, weshalb Sprachmodelle in standardisierten Sicherheitstests nahezu perfekte Ergebnisse erzielen, erfahrene Red Teamer in der Praxis aber dennoch erfolgreich Schutzmechanismen umgehen können. Solange Sprachmodelle Rollen eher anhand ihres Stils als anhand ihrer tatsächlichen Herkunft unterscheiden, dürfte die Abwehr von Prompt-Injection-Angriffen einem permanenten Wettlauf zwischen Angreifern und Entwicklern gleichen.
