ChatGPT erfindet Quellen: Halluzinationen erkennen und prüfen

Beginnen wir mit der ernüchterndsten Einzelzahl. Als Forschende ChatGPT für eine Literatursuche in der Psychiatrie nutzten, erzeugte das Modell 35 Quellenangaben, von denen nur zwei echt waren^[1]. Die übrigen 33 hatten Autoren, Titel und Journale, die es so nie gab.

Das ist kein Ausreißer. In einer Untersuchung medizinischer Texte waren von 115 ChatGPT-Referenzen 47 Prozent frei erfunden, weitere 46 Prozent existierten zwar, enthielten aber fehlerhafte Angaben. Nur 7 Prozent waren echt und korrekt^[2]. Eine breitere, fächerübergreifende Studie mit 636 Quellen zeigt zugleich, dass es vom Modell abhängt: GPT-3.5 erfand 55 Prozent der Angaben, das neuere GPT-4 noch 18 Prozent^[3].

Und das Problem bleibt nicht im Verborgenen. Eine Analyse von 2,5 Millionen biomedizinischen Arbeiten fand, dass der Anteil mit fabrizierten Quellenangaben von etwa 1 zu 2.828 im Jahr 2023 auf 1 zu 277 Anfang 2026 gestiegen ist^[4]. Das ist Publikations-, nicht Studierenden-Literatur, aber es zeigt denselben Mechanismus im großen Maßstab.

Der Reflex ist, ein Sprachmodell wie ein Nachschlagewerk zu behandeln. Genau das ist es nicht. ChatGPT ruft keine Datenbank ab, es sagt Wort für Wort das wahrscheinlichste nächste Zeichen voraus. Eine Quellenangabe hat ein sehr regelmäßiges Muster, also Nachname, Jahr, Titel, Journal, DOI, und das Modell füllt dieses Muster mit dem, was statistisch passt, nicht mit dem, was existiert.

Forschende nennen das Phänomen Halluzination (Konfabulation): flüssig formulierter Text, der überzeugend wirkt, aber nicht durch eine reale Quelle gedeckt ist^[5].

Warum die KI dabei lieber rät, als zuzugeben, dass sie eine Quelle nicht kennt, hat einen unbequemen Grund. Eine Analyse beschreibt, dass Training und Bewertung von Sprachmodellen das Raten belohnen: Modelle werden auf gute Testergebnisse optimiert, und wer im Zweifel rät, schneidet im Test besser ab als wer Unsicherheit zugibt^[6].

Deshalb klingen erfundene Quellen so echt. Oft sind sie ein Pastiche aus mehreren realen Arbeiten, also ein existierender Autor, ein passendes Journal, ein realistischer Titel, nur eben nie in dieser Kombination erschienen. Wie Detektoren umgekehrt versuchen, KI-Text am Schreibstil zu erkennen, behandelt der Überblick zu KI-Detektoren im Studium. Hier geht es nicht um den Stil, sondern um die Substanz, die Quellen.

Das Tückische ist, dass erfundene Quellen nicht plump aussehen. Sie tragen alle Merkmale einer echten Angabe. Genau deshalb hilft kein Bauchgefühl, sondern nur ein Blick auf bestimmte Stellen.

Am aufschlussreichsten ist der DOI. In einer Untersuchung von ChatGPT-Quellen funktionierten 69 DOIs gar nicht. Bei einem Teil existierte der Artikel zwar, der DOI war aber fehlerhaft, bei anderen war die Quelle vollständig erfunden^[7]. Ein DOI, der ins Leere führt oder auf einen fremden Titel zeigt, ist das deutlichste Warnsignal.

Spielen wir das an der erfundenen Beispiel-Quelle oben durch. Sie suchen den Titel zusammen mit dem Autornamen in Google Scholar, und es kommt kein Treffer. Sie geben den DOI auf doi.org ein, und er führt ins Leere oder zu einer ganz anderen Arbeit. Zwei Handgriffe, gut eine Minute, und die plausibel klingende Quelle ist als Erfindung entlarvt.

Daneben gibt es weichere rote Flaggen, die zur Prüfung anhalten sollten: Autor und Titel zusammen sind in Google Scholar nicht auffindbar, der Journal-Name ist minimal falsch geschrieben, Band und Seitenzahlen passen nicht zusammen, oder die Quelle ist verdächtig perfekt auf Ihre Frage zugeschnitten. Keine dieser Stellen beweist für sich eine Fälschung, aber jede ist ein Grund, genauer hinzusehen.

Die gute Nachricht: Sie müssen keiner KI-Quelle vertrauen, Sie können jede in wenigen Minuten prüfen. Ein Leitfaden der WAC Clearinghouse empfiehlt dafür zwei Stufen, erst die Existenz, dann den Inhalt^[8]. Daraus wird ein abhakbarer Ablauf.

Zwei kostenlose Werkzeuge tragen den größten Teil. Über CrossRef lösen Sie jeden DOI auf und sehen sofort, ob er existiert und zu welchem Titel er gehört. Google Scholar und der Katalog Ihrer Hochschulbibliothek zeigen, ob es Autor und Titel überhaupt gibt. Erst wenn beides bestanden ist, lohnt der Blick in den Inhalt.

Ja und nein. Die Zahlen zeigen einen klaren Fortschritt: Wo GPT-3.5 noch 55 Prozent der Quellen erfand, waren es bei GPT-4 noch 18 Prozent. 18 Prozent erfundene Quellen heißt aber, dass rund jede fünfte Angabe falsch ist. Für eine wissenschaftliche Arbeit ist das keine Entwarnung, sondern ein Grund, weiter jede Quelle zu prüfen.

Modelle mit Internetzugang oder angeschlossener Literatursuche schneiden besser ab, weil sie echte Treffer zitieren können. Verlassen können Sie sich auch darauf nicht: Auch hier kommt es vor, dass das Modell eine real gefundene Quelle falsch zusammenfasst oder eine zweite, erfundene danebenstellt. Das Problem wird kleiner, nicht null.

Welches KI-Tool erfindet weniger Quellen?

Wenn die Frage lautet, womit Sie überhaupt recherchieren sollten, lohnt der Blick auf den Werkzeug-Typ. Ein Test mit sechs Chatbots und denselben Vorgaben zeigte deutliche Unterschiede: ChatGPT 3.5 und Bing erfanden mit Abstand am meisten, Perplexity deutlich weniger, und die datenbankgestützten Recherche-Tools Elicit und SciSpace fast gar nichts^[10].

Der Grund ist dieselbe Mechanik wie zuvor: Werkzeuge, die in echten Datenbanken suchen und nur gefundene Treffer zitieren, können weniger erfinden als ein Modell, das Quellen frei fortschreibt. Der Test stammt aus dem medizinischen Bereich, taugt also als Tendenz, nicht als Rangliste für jedes Fach. Und auch hier bleibt die Regel: Jede Angabe selbst prüfen, egal aus welchem Tool sie kommt.

Dass es nicht auf die Medizin beschränkt ist, zeigt eine Untersuchung aus der Geographie, in der ChatGPT ebenfalls fingierte, durch einen Vorhersage-Prozess erzeugte Quellen lieferte^[9].

Die ehrliche Lücke für deutschsprachige Arbeiten

Eine Einschränkung gehört dazu: Keine belastbare deutschsprachige Studie misst bisher, wie oft KI auf deutschem akademischem Text Quellen erfindet. Die vorliegenden Zahlen stammen aus internationalen, überwiegend englischsprachigen Untersuchungen. Am Mechanismus ändert die Sprache aber nichts, ein deutsches Literaturverzeichnis aus ChatGPT verdient dieselbe Prüfung wie ein englisches.

Eine erfundene Quelle ist nicht nur ein Schönheitsfehler. Wer nicht existierende Belege als eigene Recherche ausgibt, riskiert, dass die Arbeit als Täuschung gewertet wird, und das hängt nicht allein am Vorsatz: Auch eine versehentlich übernommene KI-Quelle steht am Ende in Ihrem Literaturverzeichnis.

Wie ernst Hochschulen das nehmen, zeigt ein dokumentierter Fall. Am Verwaltungsgericht Kassel (Az. 7 K 2134/24.KS) wurden zwei Arbeiten unter anderem über falsche Quellenangaben auffällig; ungekennzeichnete KI-Nutzung wird dabei rechtlich wie Ghostwriting als Täuschung eingeordnet^[11]. Welche Sanktion folgt, hängt von der Prüfungsordnung und vom Einzelfall ab. Was rechtlich überhaupt als Täuschung gilt, ordnet der Überblick zur Rechtslage bei KI im Studium ein.

Entscheidend ist die Aufdeckungs-Logik. Aufgefallen sind solche Arbeiten nicht über einen Detektor-Score, sondern darüber, dass jemand eine Quelle nachschlug und sie nicht fand. Ein Detektor misst Schreibstil, keine Quellen, und ein Humanizer schreibt eine erfundene Quelle nur sprachlich um, er macht sie nicht echt. Gegen halluzinierte Quellen hilft kein Werkzeug, nur die eigene Prüfung.

Die belastbare Antwort ist deshalb unspektakulär: echte Quellen, selbst gelesen, sauber belegt. Wer dabei Sicherheit bei Methodik und Quellenarbeit möchte, bekommt sie in einer kostenlosen Methodik-Beratung, die an der Substanz arbeitet, nicht an der Tarnung eines Scores.