Por qué las anotaciones escritas por IA describen artículos que no existen

Un supervisor lee la misma estructura de frase diez veces seguidas, abriendo una bibliografía anotada, leyéndola en voz alta, una página tras otra: Este estudio examina la relación entre X e Y, utilizando una muestra de participantes para explorar Z, y encuentra que se necesita más investigación. Todas las entradas se leen con fluidez. Dos de las doce fuentes, buscadas por título, no existen.

Las citas alucinadas por AI en bibliografías rara vez se delatan en la línea de referencia. Un nombre de autor fabricado y una revista fabricada pueden parecer exactamente iguales a los reales hasta que alguien los busca. Lo que delata primero la fabricación, casi siempre, es la anotación situada debajo: un párrafo lo bastante seguro como para describir en detalle el método y los hallazgos de un artículo, para un artículo que nunca fue escrito.

Cómo detectar citas alucinadas por AI en bibliografías

Lea la anotación antes de la línea de referencia. Una cita por sí sola, un autor, un año, una revista, un DOI, son todos pequeños patrones estructurados que un modelo de lenguaje ha visto miles de veces, y pueden parecer correctos por azar o por memorización aunque no haya nada real detrás. Una anotación, en cambio, debe decir algo sobre lo que ese artículo específico realmente hizo, con suficiente detalle como para que usted pudiera averiguar si era verdadero o falso. Si un modelo no recupera ni lee la fuente, no podrá hacer esto de manera fiable, y el resultado aparecerá como generalidad mucho antes de que lleguemos a comprobar el DOI.

Por qué la anotación delata más que la cita

Una cita fabricada es una conjetura vestida de referencia: un autor plausible, una revista plausible, una cadena con forma de DOI y el número correcto de dígitos. Una anotación fabricada es una conjetura vestida de comprensión, y la comprensión es mucho más difícil de falsificar de manera convincente a lo largo de un párrafo completo. El modelo tiene que comprometerse con una muestra, un método y una dirección del hallazgo, y cada uno de esos detalles es un lugar en el que un artículo real puede contradecirlo.

Eso también explica por qué una anotación es más fácil de comprobar para un lector que una cita desnuda. Una referencia se formatea de la misma manera tanto si la fuente es real como si no lo es, de modo que su forma por sí sola no revela información. Una anotación hace una afirmación específica sobre un contenido específico, así que o bien está respaldada por el artículo real o no lo está, y unos pocos minutos con el resumen real bastan para resolver cuál de las dos opciones es.

Qué escribe un modelo cuando nunca ha leído realmente el artículo

Pida a un modelo de lenguaje que anote una fuente de la que solo tiene un título y un tema aproximado, y no se negará ni matizará. Predice el párrafo que probablemente contendría un artículo con ese título, construido a partir de miles de resúmenes similares vistos durante el entrenamiento, y lo devuelve con el mismo registro seguro que usaría para un artículo que pudiera citar línea por línea.

Se lee como el promedio de todo lo que se ha escrito alguna vez cerca de ese tema. Un resumen honesto de un estudio sobre el sueño y la memoria le dará el nombre de los participantes reales del estudio, la prueba real utilizada y el tamaño del efecto real informado. Un resumen inventado diría que el estudio examinó qué tan bien dormían las personas y su memoria, y encontró que había una relación fuerte entre ambas. Es lo bastante genérico como para encajar cómodamente también bajo un título distinto y no relacionado.

Qué comprobar	Una anotación genuina suele tener esto	Una fabricada suele tener esto en su lugar
Números	Un tamaño de muestra, tamaño del efecto o porcentaje específico que coincida con el resumen real	Sin números, o una cifra redonda e imposible de verificar que no aparece en la fuente real
Método	El método real nombrado: una prueba, diseño o conjunto de datos específico	Una referencia vaga a "un estudio" o "un análisis" sin nombrar ningún método
Limitaciones	Una limitación que los propios autores señalaron, específica de su diseño	Una limitación genérica que sería válida para casi cualquier artículo del campo
Coincidencia de la referencia	La cita conduce a un registro real cuyo título coincide con la anotación	La referencia no resuelve, o resuelve a un artículo distinto, sin relación

Ninguna de estas comprobaciones requiere leer todo el artículo. Requieren abrirlo una vez, el tiempo suficiente para ver si las afirmaciones específicas de la anotación aparecen realmente en el resumen.

Por qué una tasa de fabricación necesita una versión del modelo y una fecha

La magnitud del problema se mide, aunque las mediciones no coinciden entre sí, porque nunca estaban midiendo lo mismo. Al probar ChatGPT-3.5 y ChatGPT-4 sobre los mismos 42 temas académicos el mismo día en 2023, los investigadores encontraron que el 55 por ciento de las citas de GPT-3.5 estaban completamente fabricadas, frente al 18 por ciento de GPT-4. Los mismos prompts, los mismos investigadores, el mismo día, solo cambió el modelo, y la tasa cayó en dos tercios.

Un estudio aparte, que probó hechos de casos alucinados en lugar de citas bibliográficas, encontró que ChatGPT-4 se equivocó el 58 percent of the time en preguntas verificables sobre casos reales de tribunales federales, y Llama 2 se equivocó el 88 percent of the time, en una investigación publicada en 2024. Esa cifra describe una tarea distinta en modelos distintos y no debe promediarse con los números de fabricación de citas anteriores para convertirlos en una sola tasa principal. Lo que ambos estudios sí confirman es la forma del problema: un porcentaje sin una versión del modelo y una fecha asociadas no describe nada específico. El patrón más amplio, a lo largo de seis estudios de este tipo que abarcan de 2023 a 2026, es un tema propio: does ChatGPT make up references lo cubre por completo. Lo que importa específicamente para una bibliografía sigue siendo más limitado: si la anotación delata la fabricación antes de que alguien compruebe el DOI.

Cómo comprobar cada entrada en una bibliografía anotada redactada por IA

Empiece por la línea de referencia: busque el título exacto en Google Scholar o en el propio sitio de la revista, y considere un DOI como no confirmado hasta que realmente resuelva a ese título, ya que una cita fabricada puede llevar un DOI que conduzca al artículo real y no relacionado de otra persona. Un AI citation checker que resuelve cada entrada frente a una base de datos académica real automatiza esa búsqueda en lugar de dejarla a una consulta manual para cada fuente individual.

Después, compruebe la anotación frente a la fuente misma, no frente a lo convincente que suena. Abra el resumen real y confirme que la muestra, el método y el hallazgo que la anotación afirma están realmente allí. Un generador gratuito de bibliografías anotadas que fundamenta cada resumen en el propio resumen del artículo, en lugar de componerlo de memoria, muestra cómo es una anotación verdaderamente fundamentada en la fuente junto a una que no lo estaba.

Para las entradas que superan la revisión, citing ChatGPT in APA y citing ChatGPT in MLA se presentan paso a paso.

Nada de esto cambia cómo formateas una entrada una vez que has confirmado que es real. Cómo citar ChatGPT en sí es una cuestión aparte, tratada en detalle para APA, MLA, Chicago e IEEE, y un generador de citas formatea la referencia ordinaria de la misma manera, independientemente del estilo. Lo que ninguno de los dos detecta es una anotación que describe un artículo que nadie escribió, lo bastante fluida como para que nadie pensara en comprobarlo.