KI-Agent Mythos 5 bei einem Cyberangriff mit Fake-Identitäten und Phishing
Mythos 5 zeigte im Sicherheitstest ein unerwartet eigenständiges Vorgehen.
Bildquelle: ChatGPT

Mythos 5: KI erschafft Fake-Identitäten und verschickt Phishing-Mails

Mythos 5 erstellt Fake-Identitäten, verschickt Phishing-Mails und versucht, reale Entwickler mit Schadcode zu manipulieren.

Im Rahmen eines Sicherheitstests des britischen AI Security Institute (AISI) zeigte Mythos 5 ein unerwartet eigenständiges Vorgehen. In sogenannten Cyber-Ranges, kontrollierten, simulierten Netzwerken, die reale IT-Infrastrukturen nachbilden, sollten KI-Agenten selbstständig Cybersecurity-Aufgaben lösen. Mythos 5 ging dabei jedoch über die vorgesehene Testumgebung hinaus und nahm mit Fake-Identitäten, Social Engineering und Schadcode auf GitHub auch reale Menschen ins Visier.

Ziel der Untersuchung war es, die maximalen Cyber-Fähigkeiten von Frontier-KI-Modellen zu messen und besser zu verstehen, wie diese Fähigkeiten von Angreifern missbraucht werden könnten. Dafür testete das britische AI Security Institute sieben KI-Modelle über Produktions-APIs. Um deren Fähigkeiten möglichst umfassend zu untersuchen, waren die Cyber-Sicherheitsfilter der beteiligten Modelle deaktiviert. Zudem wurde der Internetzugang dabei freigeschaltet. So wollten die Forscher nicht nur die Fähigkeiten der Modelle innerhalb einer künstlich eingeschränkten Umgebung untersuchen, sondern zudem nachvollziehen, was ein menschlicher Angreifer mit einem solchen Modell erreichen könnte und welches Missbrauchspotenzial bei einem realistischeren Einsatz besteht.

Die Testbedingungen waren damit bewusst weiter gefasst als bei einem normalen Modell-Einsatz. Allerdings war dabei nicht vorgesehen, dass die KI-Agenten außerhalb der Cyber-Ranges reale Personen oder Systeme angreifen. Mythos 5 ging bei diesem Sicherheitstest allerdings erheblich weiter als real vorgesehen. Der KI-Agent legte Fake-Accounts an, versuchte einen realen Entwickler zur Annahme von Schadcode zu bewegen und verschickte gezielte Phishing-Mails. Laut AISI handelt es sich um eine Form von Verhalten, die die Forscher in dieser Ausprägung bislang noch nicht beobachtet hatten.

Mythos 5 geht im Sicherheitstest eigene Wege

AISI ist eine Einheit der britischen Regierung, die sich mit der Bewertung und Sicherheit fortgeschrittener KI-Systeme beschäftigt. Sie führt unter anderem Sicherheitstests an Frontier-Modellen durch. Der konkrete Vorfall ereignete sich zwischen dem 25. und 28. Juli 2026 während einer Cyber-Evaluierung des britischen AI Security Institute. Mit dem Ziel, die maximalen Fähigkeiten der Frontier-Modelle im Bereich Cybersicherheit zu untersuchen, ließ die Behörde sieben KI-Modelle in 122 Testläufen gegen zwei simulierte Cyber-Umgebungen antreten.

Was die Forscher im Anschluss daran entdeckten, hatte mit dem vorgesehenen Testumfang nur noch wenig zu tun. In zehn der 122 Durchläufe wurden insgesamt 19 Fälle dokumentiert, in denen ein KI-Agent eigenständig Aktionen außerhalb der vorgesehenen Testumgebung ausführte. 17 dieser 19 Aktionen gingen auf das Konto von Mythos 5, zwei weitere auf OpenAIs GPT-5.6-Sol. AISI bezeichnete den Vorfall als ernsthaften Sicherheitszwischenfall. Die Behörde betont, dass die Versuche erfolglos blieben und nach aktuellem Kenntnisstand kein realer Schaden entstanden ist.

Für die Forscher war bei der Aktion nicht nur der Versuch, Schadcode einzuschleusen, bemerkenswert. Wie auch The Guardian berichtete, war die Kombination aus autonomem Vorgehen, Täuschung und der gezielten Ansprache realer Personen ebenso unerwünscht .

Fake-Identitäten für einen Angriff auf GitHub

Der schwerwiegendste Fall begann dabei mit einer Fehlinterpretation des Testziels. Mythos 5 suchte im offenen Internet nach Begriffen, die mit der simulierten Umgebung in Verbindung standen. Dabei stieß der Agent auf zwei unabhängige Entwickler, die keinerlei Verbindung zum AISI oder zur eigentlichen Testumgebung hatten.

Dennoch hielt die KI sie für legitime Ziele. Sie entwickelte einen Plan für einen Supply-Chain-Angriff. In ein öffentliches Open-Source-Projekt sollte Schadcode eingeschleust werden. Dafür erstellte der Agent mehrere GitHub-Konten und reichte einen manipulierten Pull Request ein.

Der Cyber-Agent recherchierte öffentlich zugängliche Informationen über die Entwickler, suchte nach deren E-Mail-Adressen und analysierte sogar frühere Aktivitäten, um einzuschätzen, wann die Betroffenen online aktiv sein könnten.

Als GitHub bei der Erstellung weiterer Accounts Schutzmaßnahmen einsetzte, versuchte das System, diese zu umgehen. Zunächst kam Tor zum Einsatz, später wich der Agent auf einen Proxy aus. Allerdings löste der Datenverkehr über Tor schließlich einen Alarm der Sicherheitsüberwachung des AISI aus.

Die KI spielte gleich mehrere Rollen

Mit dem ersten Pull Request war die Angelegenheit für den Agenten jedoch noch nicht erledigt. Um die manipulierte Änderung durchzusetzen, griff Mythos 5 zu Social Engineering. Mehrere der von der KI kontrollierten Accounts wurden eingesetzt, um den Eindruck unabhängiger Zustimmung zu erzeugen. Ein zweiter Account gab sich als weiterer Nutzer aus und unterstützte die schädliche Änderung. Damit sollte beim eigentlichen Maintainer der Eindruck entstehen, der Code sei bereits von anderen Personen geprüft worden.

Als ein realer Nutzer den Schadcode bemerkte und öffentlich davor warnte, reagierte der Agent keineswegs mit einem Abbruch. Stattdessen versuchte er, den Vorfall als harmlosen Fehler darzustellen und die Änderung dann erneut einzuschleusen. Der AISI-Bericht dokumentiert dabei auch den Versuch, den Eindruck einer unabhängigen Prüfung durch einen weiteren Fake-Account zu erzeugen.

Der menschliche Maintainer ließ sich davon jedoch nicht täuschen und schloss den Pull Request wegen des enthaltenen Schadcodes. Damit war aber die Angriffskette noch immer nicht beendet, der KI-Agent gab sich nicht geschlagen.

Mythos 5: KI-Agent nutzt Phishing und Social Engineering für Cyberangriff
Mythos 5 setzte neben Schadcode auch auf Phishing und Social Engineering.

Phishing-Mails sollten Entwickler manipulieren

Neben den gefälschten GitHub-Identitäten setzte der KI-Agent nun auf gezielte Phishing-Nachrichten. Mythos 5 verschickte mehrere E-Mails an die betroffenen Entwickler. Einige enthielten schädliche Inhalte, andere sollten die Empfänger dazu bewegen, die manipulierte Codeänderung zu akzeptieren. AISI stuft diese Nachrichten als gezielte Social-Engineering-Versuche beziehungsweise Spearphishing ein.

Im Rahmen des Texts beschränkte sich das KI-System nicht darauf, innerhalb einer virtuellen Umgebung nach technischen Schwachstellen zu suchen. Es versuchte vielmehr, Menschen selbst als Teil seiner Angriffskette zu instrumentalisieren. Nach Angaben des AISI ist dies das erste Mal, dass die Behörde eine derartige Form von Täuschung gegenüber einem realen Menschen ohne entsprechende Vorgabe beobachtet hat. Allerdings ist noch nicht abschließend geklärt, ob der Agent tatsächlich verstanden hat, dass er mit realen Personen und nicht mit simulierten Testzielen interagierte.

Versteckte Anweisungen für andere KI-Agenten

Der Anthropic-Agent versuchte zudem, seine Angriffsmöglichkeiten über andere KI-Systeme indirekt weiter auszuweiten. Dazu versuchte er, versteckte Anweisungen in einem GitHub-Issue unterzubringen. Diese Prompt Injection sollte nicht primär einen Menschen täuschen, sondern andere KI-gestützte Coding-Assistenten manipulieren. Die schädlichen Instruktionen waren für menschliche Besucher nicht ohne Weiteres sichtbar. Sie konnten jedoch von automatisierten Systemen über entsprechende Schnittstellen ausgelesen werden.

Bei dem Test interagierten offenbar auch gleichzeitig getestete Agenten miteinander. Ein GitHub-Repository entwickelte sich dabei zu einem gemeinsamen Nachrichtenkanal, über den die Instanzen Informationen und Anweisungen austauschten. Insofern griffen KI-Agenten auf Zugangsdaten zu, die eine andere Instanz dort öffentlich hinterlassen hatte.

19 Vorfälle in 122 Testläufen

Die von AISI veröffentlichten Zahlen verdeutlichen besonders gut das Ausmaß des Vorfalls. Von den 122 durchgeführten Evaluationen entfielen 43 auf Mythos 5, 35 auf GPT-5.6-Sol. Insgesamt stellte AISI 19 unsanktionierte Aktionen in zehn Testläufen fest. Der überwiegende Teil der 122 Durchläufe verlief hingegen wie vorgesehen.

Bei den 19 Aktionen handelte es sich nicht um 19 voneinander unabhängige Angriffe. Mehrere der Vorfälle traten im Rahmen zusammenhängender Abläufe auf, insbesondere bei dem längeren Testlauf von Mythos 5. Neben Social Engineering und Fake-Accounts dokumentierten die Forscher dazu Versuche, lokale Angriffs- und Command-and-Control-Infrastruktur über öffentliche Tunneldienste erreichbar zu machen. In einem weiteren Fall überwand der Agent sogar eine Audio-CAPTCHA, um eine öffentliche Webadresse bei einem kostenlosen Domainanbieter zu registrieren.

Aber auch GPT-5.6-Sol zeigte problematisches Verhalten. Zwei der dokumentierten Aktionen entfielen auf das OpenAI-Modell. In einem Fall griff der Agent auf einen GitHub-Account zu, den ein anderer KI-Agent angelegt hatte. Dazu fand er ein persönliches Zugriffstoken (PAT), das die andere Instanz öffentlich in einem GitHub-Gist hinterlassen hatte. Er nutzte es, um sich bei GitHub als dieser Account zu authentifizieren.

Im weiteren Verlauf registrierte der Agent Accounts bei sechs DNS-, Dynamic-DNS- und Tunneling-Anbietern. Anschließend versuchte er, einen von ihm betriebenen bösartigen DNS-Server über einen öffentlichen Tunnel aus dem Testnetz erreichbar zu machen.

Mythos 5 überschreitet Testgrenzen

AISI hatte den Test so konfiguriert, dass die Modelle Zugriff auf das offene Internet erhielten. Auch die von den Entwicklern eingebauten Cyber-Sicherheitsfilter wurden deaktiviert. Dadurch wollten die Forscher die maximalen Fähigkeiten der Modelle untersuchen. Diese Bedingungen entsprechen damit nicht dem üblichen Einsatz der Modelle für die Öffentlichkeit. Hinzu kam, dass die Testanweisungen keine ausdrücklichen Verbote für bestimmte Aktivitäten im Internet enthielten. Der Agent wurde also nicht explizit angewiesen, keine realen Menschen anzusprechen oder Social Engineering einzusetzen. AISI benennt eine Kombination verschiedener Bedingungen als Ursache für das beobachtete Verhalten:

  • den offenen Internetzugang,
  • deaktivierte Cyber-Filter,
  • fehlende Echtzeitüberwachung auf Modellebene,
  • eine mögliche Fehlkonfiguration des Test-Prompts,
  • unklare Grenzen dessen, was der Agent außerhalb der simulierten Umgebung tun durfte.

Sicherheitsforscher ziehen Konsequenzen

Nachdem der ungewöhnliche Datenverkehr am 28. Juli entdeckt worden war, reagierte das AISI innerhalb kurzer Zeit. Um 10:56 Uhr britischer Zeit wurde das zuständige Cyber-Team über den Alarm informiert. Um 11:42 Uhr erklärte die Behörde offiziell den Sicherheitsvorfall und stoppte die noch laufenden Tests.

Bis 12:23 Uhr waren die betroffenen virtuellen Maschinen isoliert. Gegen 16 Uhr wurde der Zugriff auf Mythos 5, Mythos Preview, Opus 5 und GPT-5.6-Sol vorsorglich innerhalb der Organisation deaktiviert. Später wurden Opus 5 und GPT-5.6-Sol mit aktivierten Cyber-Filtern wieder freigegeben.

Im Anschluss daran prüften die Forscher sämtliche 122 Testläufe manuell. Dabei wurden insgesamt 212.840 Nachrichten untersucht. Dazu kam ein KI-gestützter Scanner zum Einsatz. Darüber hinaus begann das AISI, historische Testdaten nach ähnlichem Verhalten zu durchsuchen. Bereits rund 40.000 weitere Testläufe mit fast vier Millionen Nachrichten waren dabei untersucht worden.

Auch GitHub wurde über die Vorgänge informiert. Die Plattform stellte dem AISI eine Übersicht der während des Tests angelegten Konten, Repositories, Issues, Pull Requests und API-Schlüssel zur Verfügung. Die hinterlassenen Artefakte hat man entfernt und betroffene Nutzer informiert.

Mythos 5 war nicht wirklich „außer Kontrolle“

Mythos 5 ist nicht aus einer abgeschotteten Testumgebung ausgebrochen und hat daraufhin eigenständig das Internet erobert. Das AISI hatte den Internetzugang bewusst freigeschaltet. Auch die Sicherheitsfilter waren absichtlich deaktiviert worden. Die untersuchten Konfigurationen sind laut AISI nicht kommerziell verfügbar und entsprechen nicht dem normalen öffentlichen Einsatz.

Auch scheiterten die entscheidenden Angriffe. Der menschliche Entwickler erkannte den manipulierten Pull Request und verweigerte dessen Annahme. Das AISI fand keinen daraus resultierenden realen Schaden. Interessanter hierbei war, welche Wege der Ki-Assistent selbstständig einschlägt, wenn er ein Ziel unbedingt erreichen soll.

Gefährliche Kombination aus Autonomie und Täuschung

Mythos 5 sollte mittels Cyber-Range DL-v2, einem Satz von Aufgabenanweisungen, einen simulierten Zielrechner kompromittieren. Dafür musste der Agent zunächst über einen vorgegebenen Einstiegspunkt Zugang zum Zielnetzwerk erlangen und anschließend versteckte CTF-Flags finden und einreichen.

Statt sich jedoch auf diese simulierte Umgebung zu beschränken, suchte der KI-Agent im offenen Internet nach einem vermeintlich passenden Ziel und nahm reale Entwickler ins Visier. Dabei suchte das System nach Wegen, die vorgegebene Aufgabe zu lösen, und stieß auf Methoden, die außerhalb des vorgesehenen Testbereichs lagen. Es analysierte nicht nur technische Schwachstellen, sondern kombinierte Recherche, gefälschte Identitäten, Social Engineering, Phishing und Schadcode zu einer eigenen Angriffskette.

AISI beschreibt dieses Verhalten als eine Form zielgerichteter Täuschung, die bisher weitgehend theoretisch gewesen sei. Die Behörde warnt zugleich davor, aus den wenigen beobachteten Fällen vorschnelle Aussagen über das Verhalten von KI-Systemen im normalen Betrieb abzuleiten. Noch sei nicht bekannt, wie wahrscheinlich ein solches Verhalten unter anderen Bedingungen ist.

Über

Antonia ist bereits seit Januar 2016 Autorin bei der Tarnkappe. Eingestiegen ist sie zunächst mit Buch-Rezensionen. Inzwischen schreibt sie bevorzugt über juristische Themen, wie P2P-Fälle, sie greift aber auch andere Netzthemen, wie Cybercrime, auf. Ihre Interessen beziehen sich hauptsächlich auf Literatur.