Faktenchecker mit Launen: Wie verlässlich KI-Chatbots Quellen prüfen
Einmal wahr, einmal falsch: Die schwankenden Urteile der KI-Chatbots
KI-Chatbots sind erstaunlich gute Faktenchecker – aber keine verlässlichen Schiedsrichter. Zu diesem Ergebnis kommt eine Studie der Ruhr-Universität Bochum, entstanden im Projekt Qapito! der Deutsche Telekom Stiftung.
Getestet wurden 22 KI-Chatbots für den deutschsprachigen Raum, von Bildungsplattformen wie AIS.chat und fobizz bis zu ChatGPT, Gemini, Claude, Copilot und Mistral Le Chat.
Die Botschaft an Schulen: Die Programme können kritisches Denken trainieren, das eigene Urteil ersetzen sie nicht.
Treffsicher, aber launisch
Zwischen dem 20. Mai und dem 5. Juli 2026 mussten die Systeme zwölf Internetquellen nach ihrer Zuverlässigkeit einstufen und zehn aktuelle Social-Media-Aussagen auf ihren Wahrheitsgehalt prüfen. Jede Aufgabe lief 50-mal, stets in einem neuen Chat.
Alle Chatbots trennten dabei seriöse von unseriösen Quellen, und zwar besser, als es Jugendliche und Studierende in vergleichbaren Untersuchungen schafften. Im Schnitt stimmten 92 Prozent der Quellenurteile. Schwerer taten sich viele Systeme mit unzuverlässigen Absendern wie Interessenverbänden, Unternehmen oder Laien.
Wenig Verlass war auf die Beständigkeit der Antworten. Derselbe Prompt führte oft zu unterschiedlichen Urteilen. Ein Beispiel aus der Studie: Ein Wolf soll Ende März 2026 in Hamburg eine Frau gebissen haben. Ein Chatbot erklärte die zutreffende Meldung einmal für definitiv falsch, ein anderes Mal für definitiv wahr – beide Male mit überzeugend klingender Begründung.
Ohne Websuche im Blindflug
Bei tagesaktuellen Behauptungen entschied die Live-Websuche, also der Zugriff auf aktuelle Internetinhalte, über Erfolg oder Misserfolg. War sie abgeschaltet, fiel die Unterscheidung zwischen wahr und falsch nahezu aus. Plattformen ohne diese Funktion, darunter AIS.chat und das BildungsLLM, schnitten hier am schwächsten ab; das BildungsLLM ordnete keine einzige wahre Aussage richtig ein.
Heikel: Manche Systeme gaben an, im Netz recherchiert zu haben, obwohl das gar nicht möglich war. Überraschende, aber wahre Nachrichten verwarfen viele Chatbots zudem vorschnell als unplausibel.
Werkzeug statt Richter
Die Studienautoren Marc Stadtler und Philipp L. Marten raten deshalb, Chatbots im Unterricht nicht als Bewertungsinstanz zu nutzen, sondern als Übungsfeld. Schüler*innen sollen lernen, präzise zu fragen und Quellen sowie Begründungen der KI selbst zu prüfen.
Am Ende soll epistemische Demut stehen: das Gespür für die Grenzen des eigenen Wissens – und für die der Maschine.
In aller Kürze
22 KI-Chatbots im Test: Quellen bewerten sie gut, doch ihre Urteile schwanken stark, ohne Websuche versagen sie bei Aktuellem. Im Unterricht taugen sie als Übungswerkzeug, nicht als Richter.
VERWEISE
Das könnte Sie auch interessieren...
Wenn Maschinen mitentscheiden, muss die Berufsschule nachziehen Künstliche Intelligenz verändert die Facharbeit in einem Tempo, mit dem die Lehrkräftebildung bislang kaum Schritt hält. Damit berufliche Schulen junge Menschen weiterhin passgenau …
PISA im Bundestag: Einigkeit über den frühen Start Deutschlands Schüler*innen schneiden bei PISA so schwach ab wie nie. Im Bundestagsausschuss für Bildung, Familie, Senioren, Frauen und Jugend ging es am Donnerstag in einem öffentlichen …
Gut gedacht, schwer gemacht: Schulleitungen unter Reformdruck Schulleitungen in Deutschland arbeiten seit Jahren am Anschlag – und nun rollt eine Reformwelle auf sie zu. Das ist der Kern der vierten Cornelsen Schulleitungsstudie des Berliner …
Schulentwicklung ohne Schulaufsicht: Das Dilemma der Begleitung Schulaufsichtspersonen in Deutschland kämpfen mit Zeitmangel und unklaren Aufgaben. Das zeigt eine neue Studie der Universität Erfurt, für die 231 Schulaufsichtspersonen aus fünf …