Que se passe-t-il si un évaluateur découvre une citation fabriquée

Un éditeur qui vérifie la liste des références d’un manuscrit accepté copie la DOI de sa vingt-troisième citation dans un navigateur et obtient une page indiquant que l’identifiant n’existe pas. La référence paraît réelle, un journal plausible, une année plausible, trois noms de famille d’auteurs plausibles. Elle n’est rattachée à rien qu’une base de données ait jamais indexé. Le manuscrit doit être imprimé dans deux semaines.

Une DOI qui ne se résout pas est généralement le premier signe de ce qu’un éditeur classera finalement comme des citations fabriquées, une faute académique, et non une simple erreur de mise en forme à corriger discrètement dans les épreuves. Une référence à une source qui n’existe pas se situe, avec les données fabriquées et les résultats falsifiés, sur l’échelle de gravité que les revues utilisent réellement, bien au-dessus d’un mauvais numéro de page ou d’une initiale manquante, et les évaluateurs vérifient désormais précisément cela avant qu’un manuscrit n’atteigne jamais ce stade.

Ce texte suit ce parcours du point de vue de l’évaluateur, comment une référence fabriquée entre d’abord dans un manuscrit, ce qu’un éditeur fait une fois qu’une DOI ne se résout pas, la procédure exposée par le Committee on Publication Ethics, et ce qui arrive réellement à l’article ensuite. Le guide de TextPulse sur la manière dont les universités et les revues définissent la politique d’IA guide to how universities and journals set AI policy couvre les règles de divulgation destinées à empêcher cela avant la soumission. Ce texte reprend après l’échec de ces règles.

Comment des citations fabriquées entrent-elles dans un manuscrit ?

Presque jamais par invention délibérée à partir de rien. Un auteur qui rédige une revue de littérature avec un outil d’IA lui demande de résumer les travaux sur un sujet, et l’outil renvoie un paragraphe avec des citations jointes, parce qu’une référence qui sonne plausible fait partie de ce à quoi ressemble, pour un modèle qui prédit le mot suivant le plus probable, le schéma de l’écriture académique. La référence a la forme d’une vraie, un auteur nommé, un titre de revue réel, une année dans une fourchette raisonnable. Elle ne renvoie simplement à rien qui ait jamais été publié.

L’auteur copie le paragraphe, fait confiance à la citation parce que le texte environnant paraît compétent, et n’ouvre jamais la source pour vérifier qu’elle existe. La pression du temps explique la majeure partie de ce qui se passe ensuite, une liste de références est généralement la dernière chose vérifiée avant la soumission, et non la première, et une entrée fabriquée parmi quatre-vingt-dix entrées réelles est facile à manquer lors d’une relecture centrée sur l’argument et la structure plutôt que sur chaque note de bas de page. Faire passer une liste de références achevée dans un vérificateur de citations IA avant la soumission permet de repérer un bon nombre de ces cas avant même qu’un relecteur ait à coller un DOI dans un navigateur.

La manière dont un modèle invente d’abord une source qui semble plausible, et la raison pour laquelle il le fait, constituent une question à part entière, avec ses propres mécanismes. L’explication de TextPulse sur la question de savoir si ChatGPT invente des références passe en revue cette partie avec plus de détails que ce dont ce texte a besoin.

Les citations fabriquées constituent-elles une faute académique ?

Oui, et les revues ne les considèrent pas comme un problème de style. La mauvaise conduite en recherche est classiquement divisée en fabrication, falsification et plagiat, et une référence à une source qui n’existe pas relève de la première de ces catégories, la citation elle-même est inventée, et sa présence déforme ce que les preuves soutiennent réellement dans l’argument qui se trouve au-dessus dans le texte. Cela place une citation fabriquée dans la même catégorie que des données inventées, et non à côté d’une virgule manquante ou d’un style de titre incohérent.

La propre politique d’Elsevier énonce clairement le point pour toute personne qui rédige avec l’aide de l’IA, les outils génératifs peuvent aider pour la structure et la langue, mais la fabrication ou la modification de données ou de références est indiquée comme un usage interdit, sans catégorie plus légère réservée à une référence qui se révèle inventée plutôt que modifiée. Wiley, Springer Nature et Taylor and Francis tracent tous la même ligne dans leurs propres consignes aux auteurs. Les relecteurs vérifient précisément cela désormais, et un DOI non résolu est généralement la première chose qui trahit une référence fabriquée.

Que se passe-t-il lorsqu’un relecteur ne peut pas résoudre un DOI ?

Cette vérification mécanique est assez simple pour être effectuée en moins d’une minute, il suffit de coller le DOI dans doi.org et de voir où il mène. Lorsque le DOI renvoie à une page introuvable ou à un article complètement différent de celui qui est cité, c’est un signal fort que la citation n’a jamais été réelle, surtout si elle figure dans une liste de références qu’un outil d’IA a contribué à rédiger.

Un seul DOI cassé ne met pas, à lui seul, fin aux chances d’un manuscrit, car un identifiant réel peut parfois être mal saisi. Ce qui change la réponse, c’est l’ampleur et le schéma. Une référence cassée entraîne généralement une demande adressée à l’auteur, afin d’obtenir un DOI corrigé ou la source originale. Plusieurs références cassées dans la même liste de références, en particulier lorsqu’elles sont regroupées dans une section de revue de littérature rédigée rapidement, sont portées au delà d’une simple demande de précision et entrent dans le type de vérification de l’intégrité des citations qu’un éditeur effectue avant de décider de la suite.

Le processus COPE suivi par un éditeur

COPE, le Committee on Publication Ethics, donne aux éditeurs un cadre structuré pour évaluer un problème de citation plutôt qu’une règle unique et fixe. Ses recommandations sur l’intégrité des citations exposent quatre facteurs qu’un éditeur est censé prendre en compte avant de décider de la suite.

• Nature, si la référence est partiellement authentique ou entièrement fabriquée
• Emplacement, où elle se situe dans l’article, par exemple dans une méta-analyse ou dans un seul paragraphe de discussion
• Catégorie, s’il s’agit d’une référence introuvable ou d’une référence authentique citée pour quelque chose qu’elle ne dit pas réellement
• Ampleur, s’il s’agit d’une ou deux références concernées ou d’une grande part de l’ensemble de la liste

La manière dont un éditeur pondère ces quatre facteurs détermine quelle réponse convient, une correction simple, une expression de préoccupation publiée pendant qu’une enquête est en cours, ou, pour le schéma le plus grave, un contact direct avec l’institution de l’auteur. Le raisonnement que COPE avance pour expliquer pourquoi un outil d’IA ne peut pas porter la faute est le même que celui qu’il applique à la paternité en général, la responsabilité d’un manuscrit soumis incombe aux auteurs nommés, qui ont accepté cette responsabilité au moment même où ils l’ont soumis, et non à l’outil qui a pu aider à rédiger un paragraphe en cours de route.

« Le modèle l’a inventé » explique comment une référence fabriquée est entrée dans le manuscrit. Cela ne l’excuse pas. Le processus de soumission de chaque éditeur exige que l’auteur correspondant confirme l’exactitude du manuscrit et assume la responsabilité de son contenu, ce qui est précisément l’étape qui transforme l’erreur d’un outil d’IA en celle de l’auteur lui-même.

Le propre guide de TextPulse sur la ligne éthique de l’écriture académique assistée par IA énonce le même principe de responsabilité, la divulgation et la vérification ont lieu avant la soumission, et non après qu’un évaluateur a repéré la lacune.

De la correction à la rétractation, ce qui arrive réellement à l’article

Une correction est l’issue la plus légère. L’éditeur publie une note qui rectifie la référence précise, l’article lui-même reste en place, et le dossier publié montre exactement ce qui a changé et pourquoi. C’est généralement là qu’aboutit une citation fabriquée isolée lorsqu’elle apparaît dans une section qui n’affecte pas les résultats réels de l’article, et que l’auteur coopère et fournit une source réelle ou supprime l’affirmation qu’elle étayait.

À l’autre extrémité du spectre se trouve la rétractation. Le tout premier ensemble de lignes directrices sur les rétractations, émanant de COPE, mentionne également la fabrication et la falsification, encore une fois les catégories dans lesquelles tombe une référence fabriquée, comme l’une des raisons claires de rétracter un article, ainsi que le plagiat et la découverte de résultats peu fiables. Le processus ne disparaît pas discrètement. Un article rétracté reste visible, avec le journal lui-même et dans les index utilisés par d’autres chercheurs, signalé comme rétracté. C’est pourquoi une référence fabriquée est si coûteuse, la correction est permanente et publique, attachée au nom de l’auteur aussi longtemps que l’article est encore trouvable.

La divulgation est la défense pratique, et comment divulguer l’utilisation de l’IA dans un article est présenté séparément, avec un modèle de déclaration de divulgation que vous pouvez adapter plutôt que rédiger.

La vérification des références était autrefois la partie la moins intéressante du travail d’un évaluateur, une formalité avant que la véritable critique ne commence. Un DOI qui ne se résout pas en a fait l’inverse, souvent le signal le plus rapide et le plus net qu’un manuscrit exige une lecture bien plus attentive que le reste ne l’a reçue.