Ein Schüler fragt ChatGPT im Scherz, wie er seinen Freund töten könne. Die Schul-Überwachung Gaggle schlägt daraufhin sofort Alarm.
Was als schlechter Scherz begann, endete in Handschellen. Ein 13-jähriger Schüler in Florida wurde festgenommen, nachdem er ChatGPT fragte, wie er seinen Freund „in der Mitte des Unterrichts töten“ könne. Der Fall verdeutlicht, wie stark Schul-Überwachung den Alltag an amerikanischen Schulen bereits prägen und wie unvermittelt aus jugendlicher Provokation ein polizeilicher Ernstfall werden kann.
Vermeintlicher Spaß brachte Schüler hinter Gitter
In Deland, Florida, wollte der Schüler offenbar seinem Frust Luft machen. Auf einem Schul-Laptop tippte er in ChatGPT: „Wie kann ich meinen Freund mitten im Unterricht töten?“ Doch bevor er überhaupt eine Antwort erhielt, reagierte das Schul-Überwachungssystem Gaggle, das auf allen Geräten der Schule installiert ist. Die Software analysiert zahlreiche Aktivitäten auf Schülergeräten wie E-Mails, Cloud-Dokumente oder Chatverläufe.
Der School Resource Officer, also der zuständige Schulpolizist, erhielt den Alarm in Echtzeit und informierte das Sheriff’s Office. Wie der lokale NBC-Sender WFLA aus Tampa berichtete, trafen daraufhin mehrere Deputies ein, um den Schüler zu befragen. Der Junge gab an, es sei „nur ein Witz“ gewesen. Er habe einen Freund „getrollt“, der ihn genervt habe. Allerdings reagierten die Behörden weit weniger humorvoll. Der Schüler wurde festgenommen und in eine Jugendhaftanstalt gebracht. „Ein weiterer ‚Scherz‘, der einen Notfall auf dem Campus ausgelöst hat“, kommentierte das Volusia County Sheriff’s Office.
Digitale Schul-Überwachung auf dem Vormarsch
Gaggle beschreibt sich selbst als „Sicherheitslösung für Schüler“. Das Unternehmen nutzt KI-gestützte Modelle, um Hinweise auf Gewalt, Selbstverletzung oder Mobbing zu erkennen. Die Software durchsucht nicht nur Browser und Textdokumente, sondern auch Kommunikation mit KI-Systemen wie ChatGPT, Google Gemini oder Microsoft Copilot.
Gaggle betont, dass jedes von der KI erkannte Signal anschließend von einem „geschulten menschlichen Team“ überprüft wird, um Fehlalarme zu vermeiden. Diese Nachprüfung soll laut Gaggle den Kontext einbeziehen und nur bestätigte Fälle an Schulen weiterleiten.
Kritiker sehen darin jedoch weniger Schutz als eine neue Form der Dauerüberwachung junger Menschen. Laut einem Bericht der Associated Press haben sich viele Gaggle-Alarme als Fehlmeldungen herausgestellt. Datenschützer warnen zudem, dass solche Systeme die Präsenz von Strafverfolgungsbehörden im schulischen Alltag normalisieren und den Datenschutz von Schülern erheblich einschränken können.
Von der Sicherheitssoftware zum digitalen Spitzel
Auf seiner Website erklärt Gaggle:
„Wenn Schüler Geräte nutzen, die von der Schule bereitgestellt werden, sollten sie keine Privatsphäre erwarten.“
Wie Gizmodo berichtet, verweist das Unternehmen dabei auf den Children’s Internet Protection Act (CIPA), der Schulen verpflichtet, Kinder vor „schädlichen Inhalten“ zu schützen.
Zwar ist diese Form der Überwachung als Schutzmaßnahme gedacht, sie führt aber zunehmend zu einer institutionalisierten Kontrolle über Kommunikation und Ausdrucksverhalten. Das ursprüngliche Sicherheitsnetz wird damit zum Instrument sozialer Disziplinierung. Gaggle betont, dass jedes KI-Signal noch einmal von einem „geschulten menschlichen Team“ überprüft werde, um potenzielle Vorfälle zu bewerten. Eine Nachkontrolle, die jedoch nicht verhindert, dass harmlose Inhalte oft als Gefahr gewertet werden. Der Fall in Florida zeigt, wie ein algorithmisches Frühwarnsystem in der Praxis versagen kann, wenn schon ein Scherz als Anschlagsplan interpretiert wird.
Schul-Überwachung in Zahlen: Millionen Schüler im Blick
Gaggle ist in über 1.500 Schulbezirken in den USA aktiv und überwacht nach eigenen Angaben die digitalen Aktivitäten von mehr als fünf Millionen Schülern jährlich. Schulbezirke können dabei selbst entscheiden, ob das System auch außerhalb der Unterrichtszeiten aktiv bleibt. Einige lassen es sogar in den Ferienmonaten laufen, andere schalten es nach Schulschluss ab.
Eine Analyse aus Lawrence, Kansas, ergab, dass fast zwei Drittel von 1.200 Gaggle-Warnungen innerhalb von zehn Monaten Fehlalarme waren, darunter über 200 Fälle, die sich auf harmlose Hausaufgaben bezogen. Zurück bleibt ein System, das mehr Kontrolle als Vertrauen erzeugt. Schüler wissen, dass ihre Online-Aktivitäten auf Schulgeräten erfasst und ausgewertet werden können und möglicherweise auch von menschlichen Prüfern eingesehen werden.
Der verhaftete Schüler aus Florida ist kein Einzelfall. Wie KMUW (Public Radio) und die Associated Press berichteten, sind in den vergangenen Jahren mehrere Jugendliche in den USA durch Schul-Überwachungssysteme auffällig geworden. Oftmals bereits deswegen, weil sie provokante Begriffe eintippten oder ironische Scherze machten.
Im Zeitalter von Social Media, Ironie und Mem-Kultur verschwimmt häufig die Grenze zwischen Spaß und Bedrohung. Doch Systeme wie Gaggle erkennen zunächst keinen Kontext. Sie reagieren auf Schlüsselwörter, nicht auf Absichten. Als Ergebnis können harmlos gemeinte Späße bereits zu Notfällen führen. Schüler lernen zudem früh, was es heißt, unter permanenter Beobachtung zu stehen.
Wenn die Schule zum digitalen Panoptikum wird
Der Fall aus Florida zeigt, wohin sich Schul-Überwachung entwickeln kann, wenn technische Systeme unreflektiert über pädagogische Verantwortung gestellt werden. Ein 13-Jähriger, der einen schlechten Witz macht, wird behandelt wie ein potenzieller Gewalttäter.
Solche Systeme mögen als Sicherheitsnetz gedacht sein, erzeugen jedoch ein Klima ständiger Beobachtung, in dem Schüler zu Objekten von Kontrolle werden. Die eigentliche Frage sollte daher lauten, wer Kinder vor den Systemen schützt, die sie eigentlich schützen sollen.
