Bypass bei Claude Code: Eine KI als Zero-Day-Schmiede? Anthropic ignoriert die Warnung eines Sicherheitsforschers bis heute.
Der Sicherheitsforscher Aria Akhavan konnte einen gravierenden Bypass (= Umgehung) der Schutzmechanismen im KI-Modell Claude nachweisen. Über das Entwickler-Tool Claude Code lässt sich die KI dazu bringen, automatisierte Zero-Day-Forschung und komplexe Bedrohungsanalysen beispielsweise in Open-Source-Software durchzuführen. Das sind aber Aktivitäten, die der Hersteller angeblich gar nicht mehr zulässt. Das Brisante daran: Trotz der privaten Offenlegung reagierte Anthropic bis heute nicht auf den Bug-Report.
In der IT-Sicherheits- und Hacking-Szene gehört das sogenannte „Jailbreaking“ von Sprachmodellen fast schon zum Alltag. Meist geht es dabei um simple Prompt-Tricks, um der KI das zu entlocken, worüber sie schweigen soll. Das sind mitunter schlüpfrige Texte oder unvollständige Exploit-Beispiele, mit denen Dritte wenig anfangen können. Doch was der Gründer des IT-Securityunternehmens Haikhavan Security nun offenlegte, spielt offenbar in einer ganz anderen Liga.
700 Chat-Logs belegen die systematische Schutzumgehung
Es geht keineswegs um eine zufällige Fehlantwort oder einen kurzen Ausrutscher (Glitch) eines Sprachmodells. Akhavan dokumentierte in über 700 Chat-Protokollen (inklusive Modell-IDs und Chat-Session-IDs), wie er Claude über das Entwickler-Tool Claude Code für tiefgehende Offensiv-Analysen einsetzen konnte.
Unter anderem übernahm das Modell die automatisierte Schwachstellensuche. Das heißt, die systematische Analyse von Open-Source- oder anderer Software auf bisher unbekannte Lücken (Zero-Days). „Threat Actors“ (Cyberkriminelle) sind an einem solchen Fachwissen sehr interessiert.
Möglich sind offenbar auch komplexe Bedrohungsanalysen. Gemeint ist das Erstellen von detaillierten Angriffs- und Risikoprofilen, wie sie normalerweise nur von erfahrenen Red Teams oder staatlichen Cyber-Akteuren durchgeführt werden.
Obwohl der Anbieter Anthropic verspricht, dass besonders mächtige KI-Modelle (wie das in den Logs referenzierte Modell Fable) durch strikte Filter vor dem Einsatz für gefährliche Cyber-Operationen geschützt sind, griffen diese Filter im Test schlichtweg nicht. Wir erinnern uns daran, dass die US-Regierung kürzlich noch bekanntgab, dass man genau dieses Fehlverhalten der KI-Modelle verhindern will.
Warum ist der neue Claude Jailbreak relevant?
In der IT-Sicherheit gilt die Entdeckung von Sicherheitslücken als zweischneidiges Schwert: Es macht einen gewaltigen Unterschied, ob eine KI einem Entwickler beim Beheben eines Syntax-Fehlers hilft – oder ob sie eigenständig funktionsfähige Angriffsvektoren in fremdem Code aufspürt. Mächtige KI-Modelle aus den USA möchte die Trump-Administration unbedingt im eigenen Land kontrollieren. Doch wie soll das unter diesen Umständen gelingen?
Das Problem: Wenn die Schutzschranken (Safeguards) eines Top-KI-Modells flächendeckend versagen, hat das spürbare Konsequenzen für die Bedrohungslage. Kriminelle Gruppen oder staatlich geförderte Hacker erhalten Zugriff auf die automatisierte Angriffsforschung. Diese erforderte früher Wochen manueller Arbeit von absoluten IT-Spezialisten. Jetzt geht das beinahe auf Knopfdruck.
Die Illusion der AI Safety (?)
Entwickler wie Anthropic rechtfertigen die Freigabe immer mächtigerer Modelle gegenüber der Öffentlichkeit und Regulierungsbehörden stets mit ihren angeblich „unüberwindbaren“ Schutzmaßnahmen. Doch versagen diese im Alltag, bricht das Versprechen zusammen.
Anthropic ignorierte das Responsible Disclosure
Besonders brisant ist das Verhalten des Anbieters. Der Forscher hielt sich an die Regeln der Responsible Disclosure, also einer verantwortungsvollen Offenlegung.
Er übermittelte die Sicherheitsmeldung detailliert am 05. September an Anthropics offizielle E-Mail für Sicherheitsfragen: usersafety@anthropic.com. Es erfolgte keine Reaktion. Auch nach einer weiteren E-Mail und einem öffentlichen Kontaktversuch über X (ehemals Twitter) blieb schon die Eingangsbestätigung aus.
Um Druck aufzubauen, machte Akhavan den Claude Bypass schließlich öffentlich. Er tat dies allerdings ohne betriebsrelevante Details, Exploit-Anleitungen oder spezifische Software-Namen zu verraten (Full Disclosure light). Damit verhindert er, dass Dritte die Sicherheitslücken ausnutzen können. „Eine Bestätigung ist noch keine Behebung – aber sie ist der Anfang eines funktionierenden Offenlegungsprozesses“, schrieb der IT-Security-Experte auf seinem Blog.
Fazit: Nichts sehen, nichts hören, besser nicht reagieren?
Der Fall zeigt einmal mehr ein bekanntes Problem der Szene. Während Big-Tech-Konzerne KI-Modelle mit rasender Geschwindigkeit auf den Markt werfen, hinken die internen Sicherheitsprozesse und Kommunikationskanäle oft hinterher. Um die KI-Modelle zumindest weitgehend vor Jailbreaks zu schützen, müssten die Hersteller deutlich mehr Zeit investieren. Diese Vorgehensweise scheint aber aufgrund des laufenden Wettbewerbs untereinander und mit den Anbietern aus China offenbar keine große Priorität zu besitzen.
Fakt ist: Ein nicht behobener Safeguard-Bypass in den Händen der falschen Akteure stellt zweifellos ein großes Risiko dar. Es bleibt zu hoffen, dass Anthropic den Hilferuf der Wiener Sicherheits-Community endlich erhört und die Daten zur Analyse anfordert, bevor der Mechanismus in den einschlägigen Foren und auf Shadow-Plattformen die Runde macht.
Hinweis: Wir haben am 16. September eine Anfrage an press@anthropic.com verschickt, die man uns bis jetzt nicht beantwortet hat.
