KI-Chatbots mit über 60 % Fehler
Wer dachte, Chatbots sind die Lösung, hat weit gefehlt. Eine aktuelle Studie zeigt nämlich: Über 60 % der Antworten der smarten KI-Assitenten sind schlichtweg falsch. Und bei Fragen nach Quellen und Fakten geraten sie ins Schwitzen und erfinden fröhlich drauflos.
Fake it till you make it?
Die von der Columbia Journalism Review veröffentlichte Studie hat den Chatbots den Spiegel vorgehalten. Was dabei herauskam, ist nicht überraschend.
Übermut tut selten gut: Chatbots sind wahre Meister im Antworten-Erfinden, selbst wenn sie keinen blassen Schimmer haben. Anstatt ehrlich „Sorry, keine Ahnung“ zu sagen, wird fröhlich drauflos fabuliert.
Die „Premium“-Diven: Du denkst, für Premium musst du draufzahlen und bekommst Besseres? Weit gefehlt! Die Premium-Chatbots haben nämlich eine noch höhere Fehlerquote, verpackt in einem hübschen Mäntelchen aus vermeintlicher Zuverlässigkeit. » KI & Texter
Regeln? Kennt keiner!
Ein weiteres Schmankerl der Studie: Viele Chatbots, darunter auch unsere Premium-Kandidaten, scheren sich einen feuchten Kehricht um die guten alten robots.txt-Regeln. Sie verlinken wild, zitieren kopierte Artikel und scheuen nicht mal davor zurück, Inhalte hinter Paywalls anzuzapfen.
Details zur Chatbot-Studie
Die Forscher haben 10 zufällige Artikel von unterschiedlichen Publishern ausgewählt und die Chatbots danach zu Originalquellen, Veröffentlichungsdaten und URLs befragt. Dabei sind sie methodisch vorgegangen:
Auszüge: Aus jedem Artikel wurden Abschnitte gewählt, die in den ersten 3 Google-Treffern erscheinen.
1.600 Anfragen insgesamt: Klingt viel? Ist es auch. Ganze 20 Publisher, je 10 Artikel und je 8 Auszüge wurden den Chatbots vorgelegt.
Das Resultat: von 1.600 Anfragen waren mehr als 60 % der Antworten daneben – Perplexity schnitt mit 37 % Fehlerquote sogar noch am besten ab, während Grok 3 mit unglaublichen 94 % grottenschlechte Ergebnisse lieferte.
Trügerische Zuversicht
Chatbots brauchen Nachhilfe in Medienkompetenz. Statt zu betonen, dass die gewünschten Infos nicht verfügbar sind, strotzen sie mit Selbstbewusstsein: Mit 134 falschen Antworten war ChatGPT der King (oder Queen?) der falschen Zuversicht. » ChatGPT Texter
Nur Microsoft Copilot erkannte häufiger seine eigenen Grenzen und lehnte die Beantwortung betreffender Fragen schlicht ab.
Fazit: Vertrauen ist gut, manuelle Recherche ist besser
Nach dem momentanen Stand sind KI ziemliche Labertaschen – sie liefern oft falsche Antworten mit schillernder Fassade. Die hohe Fehlerquote von mehr als 60 % lässt eher auf Zufallstreffer als auf gekonnte Recherche schließen.
Wer wirklich korrekte Infos will, sollte sich lieber auf altbewährte manuelle Recherche verlassen. » KI SEO-Texte: Was können sie?
