Warum von KI verfasste Annotationen Arbeiten beschreiben, die nicht existieren

Ein Betreuer liest dieselbe Satzstruktur zehnmal hintereinander, öffnet eine annotierte Bibliographie, liest sie laut vor, eine Seite nach der anderen: Diese Studie untersucht die Beziehung zwischen X und Y, verwendet eine Stichprobe von Teilnehmenden, um Z zu erforschen, und kommt zu dem Ergebnis, dass weitere Forschung erforderlich ist. Alle Einträge lesen sich flüssig. Zwei der zwölf Quellen, nach Titel gesucht, existieren nicht.

Von AI halluzinierte Zitate in Bibliographien kündigen sich selten in der Referenzzeile an. Ein erfundener Autorenname und ein erfundenes Journal können genau wie echte aussehen, bis jemand nach ihnen sucht. Was die Fälschung fast jedes Mal zuerst verrät, ist die darunter stehende Annotation, ein Absatz, der selbstbewusst genug ist, die Methode und die Ergebnisse eines Papers im Detail zu beschreiben, für ein Paper, das nie geschrieben wurde.

Wie man von AI halluzinierte Zitate in Bibliographien erkennt

Lesen Sie die Annotation vor der Referenzzeile. Ein Zitat für sich genommen, ein Autor, ein Jahr, ein Journal, ein DOI, all das sind kleine strukturierte Muster, die ein Sprachmodell tausende Male gesehen hat, und sie können zufällig oder durch Memorierung richtig aussehen, selbst wenn nichts Reales dahintersteht. Eine Annotation hingegen muss etwas darüber sagen, was dieses spezifische Paper tatsächlich getan hat, mit genug Detail, dass man entweder herausfinden könnte, ob es wahr oder falsch ist. Wenn ein Modell die Quelle nicht abruft oder liest, wird es dazu nicht zuverlässig in der Lage sein, und das Ergebnis zeigt sich als Allgemeinheit, lange bevor wir überhaupt dazu kommen, den DOI zu prüfen.

Warum die Annotation mehr verrät als das Zitat

Ein erfundenes Zitat ist als Referenz verkleidetes Rätselraten, ein plausibler Autor, ein plausibles Journal, eine DOI-förmige Zeichenfolge mit der richtigen Anzahl von Ziffern. Eine erfundene Annotation ist als Verständnis verkleidetes Rätselraten, und Verständnis ist über einen ganzen Absatz hinweg viel schwerer überzeugend vorzutäuschen. Das Modell muss sich auf eine Stichprobe, eine Methode und eine Richtung des Befunds festlegen, und jedes dieser Details ist ein Punkt, an dem ein reales Paper ihm widersprechen kann.

Das ist auch der Grund, warum eine Annotation für eine Leserin oder einen Leser leichter zu prüfen ist als eine bloße Zitierung. Ein Verweis ist unabhängig davon, ob die Quelle echt ist, auf dieselbe Weise formatiert, daher verrät seine Form allein keine Information. Eine Annotation macht eine konkrete Aussage über einen konkreten Inhalt, also wird sie entweder durch den tatsächlichen Artikel gestützt oder nicht, und wenige Minuten mit dem echten Abstract klären, was zutrifft.

Was ein Modell schreibt, wenn es den Artikel nie tatsächlich gelesen hat

Bitten Sie ein Sprachmodell, eine Quelle zu annotieren, zu der es nur einen Titel und ein grobes Thema hat, dann wird es weder ablehnen noch sich absichern. Es sagt den Absatz voraus, den ein Artikel mit diesem Titel wahrscheinlich enthalten würde, aufgebaut aus Tausenden ähnlicher Abstracts, die es im Training gesehen hat, und gibt ihn im selben selbstsicheren Register zurück, das es für einen Artikel verwenden würde, den es Zeile für Zeile zitieren könnte.

Es liest sich wie der Durchschnitt von allem, was je zu diesem Thema geschrieben wurde. Eine ehrliche Zusammenfassung einer Studie über Schlaf und Gedächtnis nennt Ihnen die Namen der tatsächlichen Studienteilnehmenden, den tatsächlich verwendeten Test und die tatsächlich berichtete Effektgröße. Eine erfundene Zusammenfassung würde sagen, die Studie habe untersucht, wie gut Menschen geschlafen hätten und wie ihr Gedächtnis gewesen sei, und sie habe einen starken Zusammenhang zwischen beiden gefunden. Sie ist allgemein genug, um auch bequem unter einem anderen, thematisch unverbundenen Titel zu stehen.

Was zu prüfen ist	Eine echte Annotation hat gewöhnlich dies	Eine erfundene hat gewöhnlich stattdessen dies
Zahlen	Eine konkrete Stichprobengröße, Effektgröße oder ein Prozentsatz, der mit dem tatsächlichen Abstract übereinstimmt	Keine Zahlen oder eine runde, nicht überprüfbare Angabe, die im tatsächlichen Ausgangstext nirgends erscheint
Methode	Die tatsächlich genannte Methode, ein spezifischer Test, ein Design oder ein Datensatz	Eine vage Anspielung auf "eine Studie" oder "eine Analyse" ohne genannte Methode
Einschränkungen	Eine Einschränkung, die die Autoren selbst genannt haben und die spezifisch für ihr Design ist	Eine allgemeine Einschränkung, die auf fast jede Arbeit in diesem Fachgebiet zutrifft
Übereinstimmung der Referenz	Das Zitat verweist auf einen echten Datensatz, dessen Titel mit der Annotation übereinstimmt	Die Referenz verweist nicht, oder verweist auf eine andere, nicht verwandte Arbeit

Keine dieser Prüfungen erfordert das Lesen der gesamten Arbeit. Sie erfordern, sie einmal zu öffnen, lange genug, um zu sehen, ob die spezifischen Behauptungen in der Annotation tatsächlich im Abstract erscheinen.

Warum eine Fälschungsrate eine Modellversion und ein Datum braucht

Das Ausmaß des Problems wird gemessen, auch wenn die Messungen nicht miteinander übereinstimmen, weil sie nie dasselbe gemessen haben. Als ChatGPT-3.5 und ChatGPT-4 am selben Tag im Jahr 2023 an denselben 42 akademischen Themen getestet wurden, fanden Forschende heraus, dass 55 Prozent der Zitate von GPT-3.5 vollständig erfunden waren, gegenüber 18 Prozent bei GPT-4. Gleiche Prompts, gleiche Forschende, gleicher Tag, nur das Modell änderte sich, und die Rate sank um zwei Drittel.

Eine separate Studie, die halluzinierte Fallfakten statt bibliografischer Zitate prüfte, fand, dass ChatGPT-4 in 58 Prozent der Fälle bei überprüfbaren Fragen zu echten Bundesgerichtsverfahren falsch lag, und Llama 2 in 88 Prozent der Fälle, in einer 2024 veröffentlichten Forschung. Diese Zahl beschreibt eine andere Aufgabe auf anderen Modellen und sollte nicht mit den oben genannten Zahlen zur Erfindung von Zitaten zu einer einzigen Gesamtquote gemittelt werden. Worüber beide Studien übereinstimmen, ist die Form des Problems: Ein Prozentsatz ohne eine angegebene Modellversion und ein Datum beschreibt nichts Spezifisches. Das breitere Muster, über sechs solche Studien hinweg, die 2023 bis 2026 umfassen, ist ein eigenes Thema: does ChatGPT make up references behandelt es vollständig. Was für eine Bibliografie im engeren Sinn zählt, bleibt enger gefasst: ob die Annotation die Erfindung verrät, bevor jemand die DOI prüft.

Wie man jeden Eintrag in einer von AI entworfenen annotierten Bibliografie überprüft

Beginnen Sie mit der Referenzzeile: Suchen Sie den exakten Titel in Google Scholar oder auf der eigenen Website des Journals und behandeln Sie eine DOI als unbestätigt, bis sie tatsächlich zu diesem Titel aufgelöst wird, da ein erfundenes Zitat eine DOI tragen kann, die zu einem echten, aber nicht verwandten Artikel einer anderen Person führt. Ein AI citation checker, der jeden Eintrag gegen eine echte wissenschaftliche Datenbank auflöst automatisiert diese Suche, statt sie für jede einzelne Quelle einer manuellen Nachprüfung zu überlassen.

Prüfen Sie dann die Annotation am Text selbst, nicht daran, wie überzeugend sie klingt. Öffnen Sie das tatsächliche Abstract und bestätigen Sie, dass die von der Annotation behauptete Stichprobe, Methode und das Ergebnis tatsächlich darin enthalten sind. Ein kostenloser annotated bibliography generator, der jede Zusammenfassung im eigenen Abstract des Artikels verankert, statt sie aus dem Gedächtnis zu verfassen, zeigt, wie eine wirklich quellengebundene Annotation im Vergleich zu einer nicht quellengebundenen aussieht.

Für die Einträge, die die Prüfung bestehen, werden ChatGPT in APA zitieren und ChatGPT in MLA zitieren jeweils Schritt für Schritt dargestellt.

Nichts davon ändert, wie Sie einen Eintrag formatieren, sobald Sie bestätigt haben, dass er echt ist. Wie man ChatGPT selbst zitiert ist eine separate Frage, die vollständig für APA, MLA, Chicago und IEEE behandelt wird, und ein Zitationsgenerator formatiert die gewöhnliche Referenz unabhängig vom Stil auf dieselbe Weise. Was keiner von beiden erfasst, ist eine Annotation, die ein Papier beschreibt, das niemand geschrieben hat, so flüssig, dass niemand daran dachte, es zu prüfen.