Polizisten in Baltimore stellten einen Highschool-Schüler, weil das KI-System omnilert wegen einer Tüte Chips einen Fehlalarm ausgelöst hat.
Nach eigenen Angaben ist das System der KI-Erkennungssoftware omnilert dazu in der Lage, „Waffen und aktive Schützen mit größerer Genauigkeit und Geschwindigkeit“ zu erkennen. Das System nutzt Schulkameras, um mögliche Waffen zu identifizieren und automatisch Warnmeldungen an die Behörden zu schicken. Doch in diesem Fall versagte das KI-Tool.
omnilert hielt eine Chipstüte in den Händen eines Schülers für eine Waffe
Der 16-jährige Taki Allen war am Montagabend nach dem Footballtraining an der Kenwood High School in Baltimore mit seinen Freunden unterwegs, als plötzlich bewaffnete Polizisten auf ihn zukamen. „Es waren etwa acht Polizeiautos, die vorfuhren. Zuerst wusste ich nicht, was sie wollten, bis sie mit gezogenen Waffen auf mich zukamen und sagten: ‚Auf den Boden!‘ Ich dachte nur: ‚Was?‘“, berichtete Allen einem lokalen Fernsehsender. Er musste auf die Knie gehen und die Hände auf den Rücken nehmen, damit man ihn in Handschellen legen konnte. Bei der anschließenden Durchsuchung stellten die Polizisten überrascht fest, dass er gar keine Waffe bei sich trug.
Anschließend fand man den Übeltäter, eine Tüte Chips. Die Überwachungssoftware omnilert hatte festgestellt, dass er die Tüte mit beiden Händen und einem Finger draußen verzehrt hatte. Für die KI wirkte es so, als wenn er eine Waffe tragen würde.
Die Schulleiterin Kate Smith erklärte in einem Brief an die Eltern, die Schulverwaltung habe einen Hinweis erhalten, dass sich möglicherweise jemand mit einer Waffe auf dem Schulgelände befinde. Nachdem das KI-Tool anschlug, kontaktierte Smith den Schulbeauftragten für Sicherheit, der die örtliche Polizeidienststelle um Unterstützung bat. Die Polizisten erhielten die Mitteilung, eine verdächtige Person mit einer Waffe würde sich auf dem Gelände befinden. Und so nahm die Geschichte ihren Lauf.
omnilert glaubt, man habe alles richtig gemacht
Der Großvater des 16-Jährigen ist empört. „Niemand möchte, dass seinem Kind so etwas passiert“, sagte Allens Großvater Lamont Davis gegenüber dem lokalen Fernsehsender. Ein Sprecher von omnilert gab bekannt, die Aufnahme habe einer Waffe sehr ähnlich gesehen. Sein Unternehmen habe alles richtig gemacht, glaubt er. Man habe die Videoaufnahmen innerhalb von Sekunden überprüft und zur Bewertung an das Sicherheitsteam der Schule übermittelt. Damit war für omnilert der Fall schon erledigt.
Der Sprecher geht davon aus, das System habe wie vorgesehen funktioniert. Nach der Erkennung einer möglichen Bedrohung leitete die Software den Hinweis weiter, weswegen man glaubt keine Verantwortung für das Desaster zu tragen. The Independent hat die Firma Omnilert um eine weitere Stellungnahme gebeten aber keine erhalten.
Nicht die erste Fehlentscheidung der KI
Ein Ratsmitglied von Baltimore County kommentierte den Vorfall, er war deswegen fassungslos. Wie konnte es nur dazu kommen, dass Polizeibeamte mit gezogenen Waffen auf einen Minderjährigen wegen einer Tüte Chips losgegangen sind? Dies fragte er den Reporter von CBS News.
Der Hersteller omnilert geriet im Januar in die Schlagzeilen, nachdem ihr System die Waffe, die bei einer Schießerei an der Antioch High School in Nashville verwendet wurde, nicht erkannt hatte. Dabei kam laut Behördenangaben eine 16-Jährige ums Leben und eine weitere Person wurde verletzt. Der Schütze befand sich zu nah an den Kameras, weswegen ihn die Kameras nicht genau erfassen konnten. In der Folge löste das KI-System wegen des Waffenbesitzes keinen Alarm aus. Das System hatte die Schule im Vorfeld laut CNN rund eine Million US-Dollar gekostet.
Auch moderne Erkennungssysteme arbeiten niemals fehlerfrei
Im Vergleich dazu ist der Fall in Baltimore noch echt glimpflich ausgegangen. Der Fehlalarm zeigt aber, dass auch angeblich „intelligente“ KI-gestützte Systeme niemals perfekt sind. Es kann immer vorkommen, dass ihnen etwas entgeht oder sie etwas zu sehen glauben, was gar nicht vorhanden ist.
Die Verwaltungen der Universitäten und Schulen setzen diese Systeme trotzdem gerne ein, weil sie zumindest die Illusion aufrechterhalten, dass die Verwaltung alles im Griff hat und den Schülern nichts passieren kann. Wie man sieht, ist das aber leider nicht der Fall. Zusätzliches menschliches Sicherheitspersonal einzustellen, ist wahrscheinlich auf Dauer deutlich teurer als eine Handvoll Überwachungskameras und ein gemietetes KI-System.
