Einer riesigen Datenflut fehlerhafter Antworten von ChatGPT stehen zu wenige Anwender mit Fachwissen gegenüber, die diese Fehler korrigieren.
Aufgrund zahlreicher fehlerhafter Antworten haben Mods von Stack Overflow ein Verbot des Chatbots ChatGPT auf der Entwicklerplattform ausgesprochen. Dabei ist für Laien oftmals nicht ersichtlich, wann die Software falsche Ergebnisse liefert. Leider stehen zu wenige Menschen mit Fachwissen der durch den Bot generierten Datenflut gegenüber, um dessen Unzulänglichkeiten zu korrigieren.
Stack Overflow verbietet ChatGPT bereits kurz nach seiner Einführung
Die von zahlreichen Softwareentwicklern häufig genutzte Plattform Stack Overflow hat das Teilen von Antworten des Chatbots ChatGPT auf seiner Webseite verboten. Grund dafür war eine regelrechte Überschwemmung des Portals mit Informationen, die den Mods zufolge eine zu hohe Fehlerrate aufweisen.
Wie The Verge berichtet, sei das Verbot zwar nur vorübergehend und werde zu einem späteren Zeitpunkt mit der Community diskutiert. Doch aktuell führe der Einsatz dieser künstlichen Intelligenz (KI) zu zahlreichen Antworten, die auf den ersten Blick richtig erscheinen, bei näherer Betrachtung aber oft falsch sind.
„Daher ist die Verwendung von ChatGPT zur Erstellung von Beiträgen hier auf Stack Overflow vorerst nicht gestattet. Wenn ein Benutzer ChatGPT nach der Veröffentlichung dieser vorübergehenden Richtlinie verwendet haben sollte, werden Sanktionen verhängt, um zu verhindern, dass Benutzer weiterhin solche Inhalte posten, selbst wenn die Beiträge ansonsten akzeptabel wären.“
Stack Overflow Mod
Nicht alles, was glänzt, ist Gold
Der auch an GitHubs Copilot mitwirkende Entwickler OpenAI, rief den noch in einem experimentellen Status befindlichen Chatbot ChatGPT ins Leben. Seine Veröffentlichung erfolgte erst in der vergangenen Woche. Bei vielen Anwendern stieß die Software bereits auf große Begeisterung, da sie Fragen mit beeindruckender Präzision beantwortet.
Dabei kann die KI nicht nur Quellcode schreiben und debuggen, sondern auch Quizfragen beantworten und Gedichte, Lieder oder Bücher „generieren„. Doch bekanntlich ist nicht alles, was glänzt, Gold. So macht auch ChatGPT zahlreiche Fehler – darunter sogar einige, die auf den ersten Blick gar nicht auffallen.
Syntaktisch korrekten Quellcode zu erzeugen ist schließlich eine Sache. Dass dieser auch auf logischer Ebene genau das tut, was er soll, ist wiederum eine völlig andere Herausforderung.
Denn üblicherweise wird eine KI wie ChatGPT mit riesigen Mengen an Informationen aus dem Internet trainiert, in denen sie nach statistischen Regelmäßigkeiten Ausschau hält. Auf Basis dieser Daten versucht sie schließlich vorherzusagen, welche Wörter, Zeichen oder Codezeilen als Nächstes kommen sollten.
Die Fehlerrate von ChatGPT scheint erschreckend hoch zu sein
Da eine KI jedoch keinerlei feste Regeln dafür hat, wie gewisse Abläufe und Systeme funktionieren, ist das Ergebnis oftmals nichts weiter als „flüssiger Blödsinn„. Wie oft die Antworten letztendlich falsch sind, lässt sich dabei nur schwer abschätzen. Erste Erfahrungsberichte von Anwendern deuten darauf hin, dass ChatGPT häufiger daneben liegt als richtig.
Für die Mods von Stack Overflow jedenfalls scheint die Fehlerrate zu hoch zu sein.
„Da die durchschnittliche Rate der richtigen Antworten von ChatGPT zu niedrig ist, schadet die Veröffentlichung von Antworten, die von ChatGPT erstellt wurden, der Website und den Benutzern, die nach richtigen Antworten fragen oder suchen, erheblich.
Das Hauptproblem besteht darin, dass die von ChatGPT erstellten Antworten zwar eine hohe Fehlerquote aufweisen, aber typischerweise so aussehen, als könnten sie gut sein, und dass die Antworten sehr leicht zu erstellen sind. Es gibt auch viele Leute, die ChatGPT ausprobieren, um Antworten zu erstellen, ohne das Fachwissen oder die Bereitschaft zu haben, die Richtigkeit der Antwort zu überprüfen, bevor sie sie veröffentlichen. Da solche Antworten so einfach zu erstellen sind, posten viele Leute eine große Anzahl von Antworten. Die Menge dieser Antworten (Tausende) und die Tatsache, dass die Antworten oft von jemandem mit zumindest etwas Fachwissen gelesen werden müssen, um festzustellen, dass die Antwort tatsächlich schlecht ist, hat unsere auf Freiwilligen basierende Infrastruktur für die Qualitätsprüfung überfordert.“
Stack Overflow Mod
Fraglich bleibt damit, ob sich dieses Problem zukünftig auf anderen Plattformen wiederholt und damit zu einer Flut von falschen Informationen im Internet führen könnte. Ebenso wie Stack Overflow haben sicherlich die wenigsten Online-Dienste ausreichende Moderationskapazitäten, um eine solche von ChatGPT generierte Datenflut unter Kontrolle zu halten.
