Pourquoi les annotations rédigées par IA décrivent des articles qui n'existent pas

Un superviseur lit dix fois de suite la même structure de phrase, en ouvrant une bibliographie annotée, en la lisant à voix haute, page après page : Cette étude examine la relation entre X et Y, en utilisant un échantillon de participants pour explorer Z, et conclut que des recherches supplémentaires sont nécessaires. Toutes les entrées se lisent avec fluidité. Deux des douze sources, recherchées par titre, n’existent pas.

Les citations hallucinées par l'IA dans les bibliographies ne se signalent que rarement dans la ligne de référence. Un nom d'auteur fabriqué et une revue fabriquée peuvent sembler exactement comme des éléments réels jusqu'à ce que quelqu'un les recherche. Ce qui trahit d'abord la fabrication, presque à chaque fois, c'est l'annotation placée en dessous, un paragraphe suffisamment assuré pour décrire en détail la méthode et les résultats d'un article, alors qu'il s'agit d'un article qui n'a jamais été écrit.

Comment repérer les citations hallucinées par l'IA dans les bibliographies

Lisez l'annotation avant la ligne de référence. Une citation prise isolément, un auteur, une année, une revue, un DOI sont autant de petits schémas structurés qu'un modèle de langage a vus des milliers de fois, et ils peuvent paraître justes par hasard ou par mémorisation, même s'il n'y a rien de réel derrière eux. Une annotation, en revanche, doit dire quelque chose sur ce que cet article précis a réellement fait, avec suffisamment de détails pour que vous puissiez déterminer si c'est vrai ou faux. Si un modèle ne récupère pas ou ne lit pas la source, il ne pourra pas faire cela de manière fiable, et le résultat se manifestera par un caractère générique bien avant que nous en arrivions à vérifier le DOI.

Pourquoi l'annotation révèle davantage que la citation

Une citation fabriquée est une supposition déguisée en référence, un auteur plausible, une revue plausible, une chaîne de caractères en forme de DOI avec le bon nombre de chiffres. Une annotation fabriquée est une supposition déguisée en compréhension, et la compréhension est beaucoup plus difficile à simuler de manière convaincante sur un paragraphe entier. Le modèle doit s'engager sur un échantillon, une méthode et une orientation des résultats, et chacun de ces détails est un point sur lequel un article réel peut le contredire.

C’est aussi pourquoi une annotation est plus facile à vérifier pour un lecteur qu’une simple citation. Une référence est formatée de la même manière, que la source soit réelle ou non, donc sa forme seule ne révèle aucune information. Une annotation formule une affirmation précise sur un contenu précis, donc elle est soit étayée par l’article réel, soit elle ne l’est pas, et quelques minutes avec le véritable résumé suffisent à établir lequel.

Ce qu’un modèle écrit lorsqu’il n’a jamais réellement lu l’article

Demandez à un modèle de langage d’annoter une source pour laquelle il n’a qu’un titre et un sujet approximatif, et il ne refusera pas et n’émettra pas de réserve. Il prédit le paragraphe qu’un article portant ce titre contiendrait probablement, construit à partir de milliers de résumés similaires vus pendant l’entraînement, et le restitue dans le même registre assuré qu’il utiliserait pour un article qu’il pourrait citer ligne par ligne.

Le texte ressemble à la moyenne de tout ce qui a jamais été écrit sur ce sujet. Un résumé honnête d’une étude sur le sommeil et la mémoire vous donnera le nom des véritables participants à l’étude, le véritable test utilisé et la véritable taille d’effet rapportée. Un résumé inventé dirait que l’étude examinait la qualité du sommeil des personnes et leur mémoire, et qu’elle avait trouvé un lien fort entre les deux. Il est assez générique pour convenir aussi sous un autre titre sans rapport.

What to check	Une annotation authentique présente généralement ceci	Une annotation fabriquée présente généralement plutôt ceci
Numbers	Une taille d’échantillon, une taille d’effet ou un pourcentage précis correspondant au véritable résumé	Aucun nombre, ou une valeur ronde, invérifiable, qui n’apparaît nulle part dans la source réelle
Method	La méthode réelle nommée, un test, un plan d’étude ou un ensemble de données spécifique	Une allusion vague à « une étude » ou « une analyse » sans méthode nommée
Limitations	Une limitation que les auteurs eux-mêmes ont soulevée, propre à leur plan d’étude	Une limitation générique valable pour presque n’importe quel article du domaine
Reference match	La citation renvoie à un enregistrement réel dont le titre correspond à l’annotation	La référence ne renvoie pas, ou renvoie à un article différent, sans rapport

Aucun de ces contrôles ne nécessite de lire l’article en entier. Ils exigent de l’ouvrir une fois, assez longtemps pour voir si les affirmations précises de l’annotation apparaissent effectivement dans le résumé.

Pourquoi un taux de fabrication nécessite une version du modèle et une date

L’ampleur du problème est mesurée, bien que les mesures ne concordent pas entre elles, parce qu’elles n’ont jamais mesuré la même chose. En testant ChatGPT-3.5 et ChatGPT-4 sur les mêmes 42 sujets universitaires le même jour en 2023, des chercheurs ont constaté que 55 percent des citations de GPT-3.5 étaient entièrement fabriquées, contre 18 percent pour GPT-4. Même requêtes, mêmes chercheurs, même jour, seul le modèle changeait, et le taux a chuté des deux tiers.

Une étude distincte, qui testait des faits de cas halluciné plutôt que des citations bibliographiques, a constaté que ChatGPT-4 se trompait dans 58 pour cent des cas sur des questions vérifiables concernant de véritables affaires de tribunaux fédéraux, et que Llama 2 se trompait dans 88 pour cent des cas, dans une recherche publiée en 2024. Ce chiffre décrit une tâche différente sur des modèles différents et ne doit pas être moyenné avec les chiffres de fabrication de citations ci-dessus pour former un seul taux global. Ce que les deux études reconnaissent, en revanche, c’est la forme du problème, un pourcentage sans version du modèle ni date associée ne décrit rien de précis. Le schéma plus large, à travers six études de ce type couvrant 2023 à 2026, constitue un sujet à part entière, does ChatGPT make up references le traite en détail. Ce qui importe spécifiquement pour une bibliographie reste plus étroit, à savoir si l’annotation trahit la fabrication avant que quiconque ne vérifie le DOI.

Comment vérifier chaque entrée dans une bibliographie annotée rédigée par une IA

Commencez par la ligne de référence, recherchez le titre exact dans Google Scholar ou sur le site même de la revue, et considérez un DOI comme non confirmé tant qu’il ne renvoie pas effectivement à ce titre, car une citation fabriquée peut comporter un DOI qui mène à un article réel, sans rapport, appartenant à quelqu’un d’autre. Un vérificateur de citations IA qui résout chaque entrée dans une véritable base de données savante automatise cette recherche au lieu de la laisser à une consultation manuelle pour chaque source individuelle.

Vérifiez ensuite l’annotation par rapport à la source elle-même, et non par rapport à son degré de persuasion. Ouvrez le résumé réel et confirmez que l’échantillon, la méthode et le résultat que l’annotation affirme y figurent bien. Un générateur gratuit de bibliographie annotée qui fonde chaque résumé sur le résumé de l’article lui-même, plutôt que d’en composer un de mémoire, montre à quoi ressemble une annotation véritablement fondée sur la source, à côté d’une annotation qui ne l’était pas.

Pour les entrées qui résistent à l’audit, citer ChatGPT en APA et citer ChatGPT en MLA sont chacun présentés étape par étape.

Rien de tout cela ne change la manière dont vous formatez une entrée une fois que vous avez confirmé qu’elle est réelle. Comment citer ChatGPT lui-même est une question distincte, traitée en détail pour APA, MLA, Chicago et IEEE, et un générateur de citations formate la référence ordinaire de la même manière, quel que soit le style. Ce qu’aucun des deux ne détecte, c’est une annotation décrivant un article que personne n’a écrit, assez fluide pour que personne n’ait pensé à vérifier.