KI-Pornografie führt in China zu Haftstrafen: Sechs Entwickler umgingen Sicherheitsfilter und machten daraus ein lukratives Geschäftsmodell.
In China sind sechs Entwickler wegen KI-Pornografie zu mehrjährigen Haftstrafen verurteilt worden. Sie wollten sich ein lukratives Geschäftsfeld erschließen und haben dafür ein generatives KI-Modell zunächst von seinen Sicherheitsmechanismen befreit. Danach ließ sich damit gegen Bezahlung pornografisches Material erzeugen.
Wie Global Times informierte, erzeugte das betreffende KI-System schließlich mehr als 370.000 statische und über 6.000 animierte Bilder. Aktuell hat ein chinesisches Gericht zum Fall klargestellt, auch wenn die Nutzer die Inhalte per Eingabe anforderten, tragen die Entwickler dafür die Verantwortung.
KI-Modell gezielt von Schutzfiltern befreit
Der Fall ereignete sich in der chinesischen Provinz Zhejiang. Verhandelt wurde er vom Volksgericht der Stadt Yuyao. Im Mittelpunkt stand dabei ein Team um einen früheren Programmierer eines chinesischen Spieleunternehmens. Dieser soll im Juli 2024 auf einen ausländischen KI-Chatbot mit sexueller Ausrichtung gestoßen sein. Daraufhin hatte er die Idee, ein vergleichbares Angebot selbst aufzubauen.
Gemeinsam entwickelte das Team ein eigenes Angebot auf Basis eines generativen KI-Modells. Im Januar 2025 ging der Dienst auf einer ausländischen Plattform online. Bezahlt wurde über verschiedene Zahlungswege und Kryptowährungen.
Die Entwickler manipulierten für ihr Projekt die Systemvorgaben des KI-Modells. Die Gruppe setzte dabei auf Prompt Engineering, um das Basismodell zu „jailbreaken“. Dafür schrieben sie die Systemprompts wiederholt um, bis sich die eingebauten Sicherheitsvorgaben umgehen ließen. Sie legten Charakterkarten, vordefinierte Profile für die virtuellen Charaktere, an und konstruierten Dialogszenarien.
KI-Pornografie: Aus generativer KI wird ein kommerzieller Porno-Dienst
Nach abgeschlossener Zahlung konnten Nutzer innerhalb des Angebots verschiedene Charaktere auswählen und mit den KI-generierten Gesprächspartnern sexuelle Dialoge führen. Gegen zusätzliche Credits ließen sich darüber hinaus statische und animierte Bilder erzeugen. Aus einer allgemeinen generativen KI wurde damit ein auf die Ausgabe pornografischer Inhalte zugeschnittenes System.
Nach Angaben des Gerichts erzeugte das System seit dem Start im Januar 2025 während seines Betriebs mehr als 370.000 statische Bilder sowie über 6.000 animierte Bilder. Nutzer zahlten etwa 170.000 Yuan (ca. 21.950 Euro) ein. Bei der polizeilichen Untersuchung wurden 12.500 statische Bilder zufällig ausgewählt und zudem sämtliche animierte Bilder überprüft. Mehr als 9.000 der statischen sowie über 5.000 der dynamischen Inhalte wurden dabei als pornografisches Material eingestuft.
Vom Jailbreak zur Frage der Verantwortlichkeit
Der Rechtsfall rankte sich um die Frage, wer rechtlich als Content-Ersteller gilt, wenn die eigentliche Ausgabe erst nach einer Eingabe des Nutzers entsteht. Die Angeklagten argumentierten, dass die Kunden selbst Charaktere auswählten und konkrete Anweisungen eingaben. Die eigentliche Ausgabe stammte dann von der KI. Das Gericht schloss sich jedoch dieser Argumentation nicht an.
Nach Auffassung der Richter fanden sämtliche Nutzeraktionen innerhalb eines von den Entwicklern zuvor geschaffenen technischen Rahmens statt. Die Angeklagten hätten die Ausgabe des Modells maßgeblich kontrolliert. Durch die Manipulation der Sicherheitsmechanismen hätten sie erst die Voraussetzungen dafür geschaffen, dass die Inhalte erst erzeugt werden konnten. Zwischen ihrem Vorgehen und der späteren Produktion der pornografischen Inhalte bestehe deshalb ein unmittelbarer Zusammenhang.
Entscheidend für die strafrechtliche Verantwortlichkeit war dem Gericht zufolge, dass die Entwickler die Schutzmechanismen bewusst aushebelten und eine technische Umgebung schufen, die gezielt der Erzeugung pornografischer Inhalte diente. In Festlandchina ist die Herstellung und gewinnorientierte Verbreitung pornografischer Materialien strafbar. Artikel 363 sieht dafür bis zu drei Jahre Haft vor, bei schweren Fällen sind drei bis zehn Jahre möglich.
Ein zuständiger Richter formulierte als Konsequenz, dass technische Neutralität nicht als Schutzschild für illegale Aktivitäten dienen könne. Nur weil ein Inhalt von einer künstlichen Intelligenz erzeugt werde, verschwinde die Verantwortung derjenigen, die das System entsprechend konstruiert und kontrolliert hätten, nicht.
KI-Pornografie: Gericht zieht Konsequenzen
Laut chinesischer Berichterstattung von Sina Finance begannen die Ermittlungen im Juli 2025, nachdem die Polizei Hinweise auf den Dienst erhalten hatte. Innerhalb von zwei Monaten wurden alle sechs Beschuldigte festgenommen.
Das Gericht verurteilte die Angeklagten wegen der gewerbsmäßigen Herstellung pornografischer Inhalte. Die Haftstrafen liegen zwischen drei Jahren und einem Monat sowie drei Jahren und zehn Monaten. Zusätzlich wurden Geldstrafen verhängt. Gegen das Urteil legten die Verurteilten keinen Einspruch ein. DAmit ist die Entscheidung rechtskräftig.
Die chinesischen Richter wiesen beim Fall auch auf die Besonderheiten der Beteiligung von künstlicher Intelligenz hin. Herkömmliche Maßstäbe, bei denen gewöhnlich die Anzahl illegaler Inhalte eine Rolle spielt, lassen sich demnach nicht auf Systeme übertragen, die große Mengen entsprechenden Materials automatisiert erzeugen können. Auch Faktoren wie Reichweite, Verbreitungsrisiko und der mögliche Schaden sollen bei der Bewertung mit einfließen.
