Halluzinierte Zitate: Prüfen Sie Ihre Arbeit vor der Einreichung

Im Juni 2023 sanktionierte ein Bundesrichter in New York zwei Anwälte dafür, dass sie einen Schriftsatz eingereicht hatten, der auf mindestens sechs Gerichtsfällen beruhte, die nicht existierten. Steven Schwartz hatte ChatGPT nach stützender Rechtsprechung gefragt, Fallnamen und zitierte Begründungen erhalten, die alle plausibel klangen, und den Schriftsatz eingereicht, ohne selbst auch nur einen einzigen Fall zu öffnen. Richter P. Kevin Castel verhängte gegen ihn eine Geldstrafe von fünftausend Dollar und ordnete einen Brief an jeden tatsächlichen Richter an, dessen Name einer erfundenen Entscheidung zugeordnet worden war.

Eine Literaturliste kann am selben Punkt enden. Die Abhilfe ist ein Audit erfundener Zitate, das auf der eigenen Literaturliste durchgeführt wird, bevor ein Herausgeber, eine Betreuungsperson oder eine Gutachterin oder ein Gutachter dies für Sie tut. Dies ist nicht nur ein Problem, das durch das Verfassen mit einem Chatbot verursacht wird. Ein erinnerter Verweis, der nie ganz existierte, ein leicht falsch übernommener Titel einer Mitautorin oder eines Mitautors oder ein Preprint, dessen endgültiger Verweis sich nach der Annahme geändert hat, können alle dieselbe Art von Lücke in einer Literaturliste hinterlassen wie ein erfundener Verweis. Das unten beschriebene Audit erfasst alle diese Fälle, unabhängig davon, wie ein einzelner Eintrag dorthin gelangt ist.

Wie häufig ist ein erfundener Verweis wirklich?

Die Spannweite hängt stark davon ab, welches Modell den Entwurf erzeugt hat. Walters und Wilder, publiziert in Scientific Reports im Jahr 2023, prüften von GPT-3.5 und GPT-4 erzeugte Literaturlisten anhand realer akademischer Schreibanlässe: 636 Zitate aus 84 von KI erzeugten Literaturlisten, 42 für jedes Modell. Fünfundfünfzig Prozent der Zitate von GPT-3.5 waren vollständig erfunden, gegenüber 18 Prozent bei GPT-4. Selbst die echten waren nicht notwendigerweise fehlerfrei: 43 Prozent der echten Zitate von GPT-3.5 und 24 Prozent derjenigen von GPT-4 enthielten weiterhin irgendwo einen substanziellen Fehler bei Autor, Titel, Jahr oder Publikationsort.

Juristische Forschung zu von AI generierten Zitaten zeigt eine noch höhere Fehlerrate, doch diese Arbeit misst einen anderen Fehler, nämlich halluzinierte Gerichtsentscheidungen statt erfundener bibliografischer Verweise, sodass sich diese Zahl nicht in einen akademischen Kontext übertragen lässt. Was beide Bereiche gemeinsam haben, ist die zugrunde liegende Ursache: Ein Modell, das ein plausibel klingendes Zitat erzeugt, optimiert darauf, wie ein Zitat gewöhnlich aussieht, nicht darauf, ob es tatsächlich existiert. Der eigene Beitrag von TextPulse zu der Frage, ob ChatGPT Referenzen erfindet, betrachtet genau diesen Chatbot, diese Prüfung funktioniert jedoch unabhängig davon, welches Tool oder welches Gedächtnis eines Mitautors den vor Ihnen stehenden Eintrag erzeugt hat.

Was die Literaturprüfungen im Maßstab von 2026 ergaben

Diese auf Modellebene gemessenen Raten beschreiben, was aus einem Chatbot herauskommt. Eine separate Frage, und diejenige, die für alle relevant ist, die bei einer Zeitschrift einreichen, ist, wie oft eine erfundene Referenz jede Prüfung zwischen einem Entwurf und einem veröffentlichten Artikel übersteht. Zwei Prüfungen, die im Mai 2026 innerhalb eines Tages voneinander veröffentlicht wurden, beantworteten dies im Maßstab der Literatur, und die Antwort lautet, dass der Fehler nicht mehr selten ist.

Eine in The Lancet veröffentlichte Prüfung sichtete Referenzen in rund 2,5 Millionen biomedizinischen Artikeln in PubMed Central Open Access und deckte den Zeitraum von Januar 2023 bis Februar 2026 ab. Mehrere tausend Referenzen verwiesen auf Arbeiten, die nicht existieren, verteilt über mehr als 2.800 veröffentlichte Artikel. Der Trend ist wichtiger als die Gesamtzahl.

Zeitraum	Artikel mit mindestens einer erfundenen Referenz	Pro 10.000 Artikel
2023	1 von 2,828	3.5
2025	1 von 458	21.8
2026, erste sieben Wochen	1 von 277	36.1

Das ist ungefähr ein zehnfacher Anstieg innerhalb von drei Jahren, und die Zahl für 2026 stammt aus sieben Wochen statt aus einem ganzen Jahr, sie ist also eine frühe Messung und keine gesicherte Jahresrate. Was sie zeigt, ist, dass erfundene Referenzen in begutachteten Zeitschriften und anderen Publikationsorten in den Druck gelangen, nachdem sie Autoren, Mitautoren, Herausgeber und Gutachter passiert haben.

Die Begleitstudie, Zhao und Kollegen zu nicht existierenden Zitaten, erweiterte den Suchraum auf 111 million references across arXiv, bioRxiv, SSRN and PubMed Central und setzte für allein 2025 eine konservative Untergrenze von 146,932 halluzinierten Zitaten an. Ihr nützlicheres Ergebnis betrifft eher die Verteilung als das Volumen: erfundene Referenzen häufen sich in Fachgebieten mit schneller AI-Aufnahme und bei kleinen Autorenteams sowie Teams in frühen Karrierephasen. Wenn Sie ein Einzelautor oder eine kleine Gruppe ohne Forschungsstelle sind, die Ihr Literaturverzeichnis prüft, gehören Sie zu der Gruppe, bei der dies am häufigsten schiefgeht, was ein Argument dafür ist, die Prüfung selbst vorzunehmen, statt anzunehmen, dass dies jemand weiter unten in der Kette tun wird.

Welche Modelle erfinden am meisten, und was reduziert dies tatsächlich

Die ehrliche Antwort ist, dass es keinen strengen öffentlichen Benchmark gibt, der die heutigen großen Modelle speziell im Hinblick auf die Erfindung von Zitaten miteinander vergleicht. Es kursieren kleine informelle Vergleiche, typischerweise einige Dutzend Referenzen, die von Hand durch zwei oder drei Chatbots laufen, und die Stichproben sind zu klein, um eine Rangfolge zwischen ihnen zu stützen. Eines davon als Tabelle zu behandeln, ist der Weg, auf dem eine selbstsichere und falsche Behauptung in eine Arbeit gelangt.

Was sich jedoch trägt, ist der generationsbezogene Vergleich in den oben genannten Daten von Walters und Wilder, bei dem das neuere Modell ungefähr ein Drittel so oft erfand wie das ältere.

Getestetes Modell	Vollständig erfundene Zitate	Echte Zitate mit weiterhin einem substanziellen Fehler
GPT-3.5	55%	43%
GPT-4	18%	24%

Drei Muster wiederholen sich in der Literatur und sind mehr wert als jede einzelne Rangfolge. Größere Modelle erfinden weniger als kleinere. Modelle, die tatsächlich Quellen suchen und abrufen können, erfinden deutlich weniger als Modelle, die nur aus ihren Parametern antworten, was der einzelne größte Effekt ist, den jemand gemessen hat. Und obskure Quellen sind weitaus riskanter als bekannte, weil ein stark zitierter Aufsatz in den Trainingsdaten oft genug erscheint, um korrekt reproduziert zu werden, während eine Nischenquelle eher aus Fragmenten rekonstruiert wird.

Die praktische Schlussfolgerung ist, dass kein Modell sicher genug ist, um auf die Prüfung zu verzichten, und dass die Einträge, die am ehesten falsch sind, genau diejenigen sind, die sich aus dem Gedächtnis am wenigsten verifizieren lassen: die Fachzitation, der obskure Konferenzbeitrag, die Quelle, die Sie zuletzt hinzugefügt haben.

Was eine automatisierte Prüfung erfasst und wo sie endet

Die Liste zunächst durch einen Prüfer laufen zu lassen, ist schneller als vierzig DOI von Hand aufzulösen, und der kostenlose AI-Zitationsprüfer dieser Website tut genau das gegen Crossref, OpenAlex und Semantic Scholar. Es ist sinnvoll zu wissen, was diese Art von Werkzeug schlecht macht, bevor Sie sich auf eines verlassen.

Eine Bewertung von fünf Detektoren für halluzinierte Zitationen aus dem Jahr 2026, Badalova and Mayr, ergab, dass sie nützliche frühe Warnungen geben, aber durch vier Dinge begrenzt bleiben: das saubere Extrahieren von Referenzen aus einem Dokument, unvollständige Metadaten im Eintrag selbst, lückenhafte Datenbankabdeckung und Register, die voneinander abweichen. Nur der erste dieser Punkte entfällt, wenn Sie eine Liste einfügen, statt ein PDF hochzuladen.

Die Konsequenz für Ihr eigenes Audit ist eine Regel der Interpretation. Ein Prüfer ist am stärksten bei dem Befund, der am meisten zählt, einem DOI, der zu einem anderen Paper auflöst als der Eintrag behauptet, was nahezu beweiskräftig ist. Er ist am schwächsten bei Büchern, Kapiteln, Dissertationen, Tagungsbänden, sehr aktueller Literatur und nicht englischsprachigen Publikationsorten, die alle überall nur dünn indexiert sind und routinemäßig als nicht gefunden zurückkommen, obwohl sie völlig echt sind. Nicht gefunden ist ein Hinweis zur manuellen Prüfung, niemals ein Urteil. Die manuellen Schritte unten wenden Sie auf alles an, was der automatisierte Durchlauf nicht klären konnte.

Jeden DOI auflösen, bevor Sie einreichen

Ein DOI, ein Digital Object Identifier, soll über den doi.org Resolver genau zu einem Datensatz auflösen. Fügen Sie den DOI aus Ihrer Literaturliste in den Resolver ein, und ein funktionierender DOI führt auf die Verlagsseite genau dieses Artikels. Ein DOI, der zu einem unzusammenhängenden Artikel, zu einer völlig anderen Zeitschrift oder zu gar nichts auflöst, ist einer der schnellsten verfügbaren Halluzinationsprüfungen, weil ein Modell, das eine Zitierung erfindet, gewöhnlich auch eine plausibel wirkende DOI-Zeichenfolge dazu erfindet, statt einen echten zu wiederzuverwenden.

Ein DOI, der korrekt auflöst, ist kein automatischer Beweis dafür, dass die Zitierung echt ist. Manche erfundenen Referenzen übernehmen den echten DOI eines unzusammenhängenden Papers, der ohne Fehler auflöst und auf einen echten Artikel verweist, der mit der Behauptung, die er angeblich stützen soll, nichts zu tun hat. Lesen Sie die Seite, auf die der DOI führt, nicht nur die Tatsache, dass sie geladen wurde.

Jeden Titel mit einer echten Datenbank abgleichen

Suche den exakten Titel, in Anführungszeichen, in einer Datenbank, die dein Fachgebiet abdeckt, nicht im offenen Web. Verwende etwas wie Crossref, PubMed für biomedizinische Arbeiten oder den eigenen Index deiner Disziplin. Wenn du Crossref verwendest, kannst du die kostenlose Gastsuche nutzen, um eine Referenz nach Titel und erstem Autor oder nach Autor und Seitenzahl nachzuschlagen, falls du dir beim Titel nicht sicher bist. Dadurch erhältst du die DOI und die vollständigen Metadaten für alles, was dort verzeichnet ist. Wenn es keine Übereinstimmung gibt oder wenn das, was zurückkommt, eine echte Arbeit mit einem völlig anderen Autorensatz ist, könnte es sich um die zweite Art von Halluzination handeln, eine fehlerhafte DOI.

Eine Titelsuche deckt einen bestimmten Fehler auf, den eine DOI-Prüfung nicht erfasst: eine Zitierung mit einer funktionierenden, echten DOI, die an den falschen Titel angehängt ist, weil Nummer und Text getrennt zusammengestellt und nie tatsächlich miteinander abgeglichen wurden. Wenn der Titel in der Datenbank nicht eng mit dem Titel in deiner Literaturliste übereinstimmt, behandle das als Fälschung, bis du die Abweichung erklären kannst, nicht als Tippfehler, den man stillschweigend korrigiert.

Überprüfe die Autorenliste und das Veröffentlichungsjahr

Eine halluzinierte Zitierung nennt oft den Autor richtig und die Arbeit falsch, weil ein realer, prominenter Name im Fachgebiet genau das ist, was ein Modell erzeugt, das nach einer plausiblen Zitierung sucht. Suche in der Autorenliste des Autors, in der bereits geöffneten Datenbank, nach dem Jahr, das deine Literaturliste angibt. Wenn dieser Autor in diesem Jahr drei Arbeiten veröffentlicht hat und keine davon zu deinem Titel passt, ist die Zitierung sehr wahrscheinlich erfunden, aus einem echten Namen und einem echten Jahr gebaut, die in Wirklichkeit nie zusammengehörten.

Das umgekehrte Muster kommt ebenfalls vor: eine echte Arbeit, korrekt betitelt, die dem falschen Jahr zugeordnet ist, meist dem Jahr eines Preprints statt dem Jahr der endgültigen Veröffentlichung, oder eine Konferenzversion, die mit dem späteren Veröffentlichungsjahr der Zeitschrift zitiert wird. Keines von beiden ist im strengen Sinn der Prüfung eine Fälschung, aber beide führen einen Leser zu einem Literaturverwaltungsprogramm oder zu einem Mitautor, der dann nicht finden kann, was du zitiert hast, und sind dem gleichen Problem nahe genug, um sie im selben Durchgang zu korrigieren.

Erkenne einen plausiblen, aber erfundenen Zeitschriftennamen

Ein erfundener Zeitschriftenname ist so gestaltet, dass er genau wie ein echter klingt: ein plausibles Fachgebiet, ein plausibles Adjektiv, ein Name, der einem tatsächlichen Journal so nahekommt, dass niemand innehält, um nachzuprüfen. "The Journal of Applied Cognitive Studies" ist erfunden, "The Journal of Applied Psychology" und "Journal of Cognitive Science" existieren beide, und ein Name, der Teile von beiden zusammenfügt, wirkt genau aus diesem Grund vertraut.

Suche den Zeitschriftennamen für sich allein, in Anführungszeichen, und achte auf die eigene Journal-Seite des Verlags sowie auf eine aktuelle ISSN, nicht nur auf einen Treffer auf einer anderen Website, die dieselbe Referenz zitiert. Ein echtes Journal hat eine Homepage, auf der ein Editor, ein aktueller Band und eine aktuelle Ausgabe sowie eine ihm zugeordnete legitime ISSN aufgeführt sind. Ein Name ohne Verlagsseite, ohne ISSN und ohne einen anderen Artikel, der Arbeiten daraus zitiert, ist im gesamten Audit das deutlichste Zeichen dafür, dass die Referenz nicht existiert.

Verwandle dein Audit halluzinierter Zitate in eine wiederholbare Checkliste

Führe diese Prüfungen in dieser Reihenfolge für jede Referenz aus, bevor die Liste als endgültig gilt. Die Reihenfolge ist weniger wichtig als die Abdeckung aller vier Punkte, ein Zitat kann eine Prüfung bestehen und dennoch an einer anderen scheitern.

Prüfung	Was sie aufdeckt
DOI-Auflösung	Ein DOI, der ins Leere führt oder zu einem nicht verwandten Artikel
Abgleich von Titel und Datenbank	Ein echter DOI, der dem falschen Titel zugeordnet ist, oder ein Titel, der überhaupt kein Ergebnis liefert
Abgleich von Autor und Jahr	Der Name eines echten Autors, der einem Paper zugeordnet ist, das er in diesem Jahr nicht geschrieben hat
Überprüfung des Zeitschriftennamens	Ein plausibel klingendes Journal ohne ISSN, ohne Verlagsseite und ohne tatsächliche Existenz

TextPulse's KI-Zitationsprüfer führt eine Version dieses Durchgangs automatisch über eine vollständige Literaturliste aus, schneller als die vier Prüfungen bei einer langen Bibliografie einzeln von Hand durchzugehen, obwohl es sich weiterhin lohnt, zu lesen, was er markiert, statt eine Markierung blind zu akzeptieren oder abzulehnen. Für den DOI-Schritt im Besonderen spart eine spezielle DOI-zu-Zitation-Suche den Gang zum Resolver für jeden Eintrag einzeln.

Eine saubere Bibliografie ist eine von mehreren Prüfungen, bevor ein Manuskript eingereicht wird. Die Reduzierung eines KI-Scores für die Einreichung bei einer Zeitschrift wird separat behandelt, ebenso das Antwortschreiben an die Gutachter, das darauf folgt.

Nichts davon ersetzt, Ihr eigenes Papier vor der Einreichung noch einmal zu lesen. Wenn ein Abschnitt nach der Faktenprüfung immer noch allgemein formuliert wirkt, kann ein KI-Humanizer die Prosa glätten, ohne auch nur eine einzige Zitation anzutasten; TextPulse's Leitfaden zur Humanisierung von KI-Text in akademischem Schreiben behandelt diesen Durchgang Abschnitt für Abschnitt. Eine Literaturliste, die sich sauber auflöst, und ein Manuskript, das sich wie Ihre eigene Stimme liest, sind zwei getrennte Prüfungen, die es wert sind, direkt nacheinander durchgeführt zu werden, statt darauf zu vertrauen, dass die eine die andere abdeckt.