Por que anotações escritas por IA descrevem artigos que não existem

Um supervisor lê a mesma estrutura de frase dez vezes seguidas, abrindo uma bibliografia anotada, lendo em voz alta, uma página após a outra: Este estudo examina a relação entre X e Y, usando uma amostra de participantes para explorar Z, concluindo que são necessárias mais pesquisas. Todas as entradas soam fluentes. Duas das doze fontes, pesquisadas pelo título, não existem.

Citações alucinadas por IA em bibliografias raramente se denunciam na linha de referência. Um nome de autor fabricado e um periódico fabricado podem parecer exatamente como os reais até que alguém os procure. O que revela a fabricação primeiro, quase sempre, é a anotação logo abaixo: um parágrafo suficientemente confiante para descrever em detalhe o método e os resultados de um artigo, para um artigo que nunca foi escrito.

Como Identificar Citações Alucinadas por IA em Bibliografias

Leia a anotação antes da linha de referência. Uma citação isolada, um autor, um ano, um periódico, um DOI são todos pequenos padrões estruturados que um modelo de linguagem viu milhares de vezes, e eles podem parecer corretos por acaso ou por memorização, mesmo que não haja nada real por trás deles. Uma anotação, por outro lado, precisa dizer algo sobre o que aquele artigo específico realmente fez, com detalhes suficientes para que você possa descobrir se isso é verdadeiro ou falso. Se um modelo não recuperar ou ler a fonte, não conseguirá fazer isso de modo confiável, e o resultado aparecerá como genericidade muito antes de chegarmos a verificar o DOI.

Por que a Anotação Revela Mais do que a Citação

Uma citação fabricada é um palpite disfarçado de referência: um autor plausível, um periódico plausível, uma sequência com aparência de DOI e o número certo de dígitos. Uma anotação fabricada é um palpite disfarçado de compreensão, e a compreensão é muito mais difícil de falsificar de modo convincente ao longo de um parágrafo inteiro. O modelo precisa se comprometer com uma amostra, um método e uma direção de resultado, e cada um desses detalhes é um ponto em que um artigo real pode contradizê-lo.

Essa também é a razão pela qual uma anotação é mais fácil de verificar para um leitor do que uma citação simples. Uma referência é formatada da mesma maneira, independentemente de a fonte ser real ou não, de modo que sua forma, por si só, não revela nenhuma informação. Uma anotação faz uma afirmação específica sobre um conteúdo específico, portanto ela é sustentada pelo artigo real ou não, e alguns minutos com o resumo real resolvem qual das duas opções é a correta.

O que um modelo escreve quando nunca leu de fato o artigo

Peça a um modelo de linguagem que anote uma fonte da qual ele tem apenas um título e um tema geral, e ele não recusará nem fará ressalvas. Ele prevê o parágrafo que um artigo com esse título provavelmente conteria, construído a partir de milhares de resumos semelhantes vistos no treinamento, e o devolve no mesmo registro confiante que usaria para um artigo que pudesse citar linha por linha.

Lê-se como a média de tudo o que já foi escrito sobre esse tema. Um resumo honesto de um estudo sobre sono e memória lhe dará o nome dos participantes reais do estudo, o teste real utilizado e o tamanho real do efeito relatado. Um resumo inventado diria que o estudo examinou o quanto as pessoas dormiam e sua memória, e encontrou uma forte ligação entre ambos. É genérico o suficiente para também se encaixar confortavelmente sob um título diferente e não relacionado.

O que verificar	Uma anotação genuína geralmente tem isto	Uma fabricada geralmente tem isto em vez disso
Números	Um tamanho de amostra, tamanho de efeito ou porcentagem específicos, correspondentes ao resumo real	Nenhum número, ou uma cifra redonda e não verificável que não aparece em nenhuma parte da fonte real
Método	O método real nomeado: um teste, desenho ou conjunto de dados específico	Uma referência vaga a "um estudo" ou "uma análise", sem método nomeado
Limitações	Uma limitação que os próprios autores levantaram, específica ao seu desenho	Uma limitação genérica, verdadeira para quase qualquer artigo na área
Correspondência da referência	A citação leva a um registro real cujo título corresponde à anotação	A referência não leva a lugar nenhum, ou leva a um artigo diferente e não relacionado

Nenhuma dessas verificações exige a leitura do artigo inteiro. Elas exigem abri-lo uma vez, por tempo suficiente para ver se as alegações específicas da anotação realmente aparecem no resumo.

Por que uma taxa de fabricação precisa de uma versão do modelo e de uma data

A escala do problema é medida, embora as medições não concordem entre si, porque nunca estavam medindo a mesma coisa. Ao testar ChatGPT-3.5 e ChatGPT-4 nos mesmos 42 tópicos acadêmicos no mesmo dia em 2023, pesquisadores encontraram 55 por cento das citações do GPT-3.5 totalmente fabricadas, contra 18 por cento no GPT-4. Mesmos prompts, mesmos pesquisadores, mesmo dia, apenas o modelo mudou, e a taxa caiu em dois terços.

Um estudo separado, que testou fatos de casos alucinados em vez de citações bibliográficas, constatou que o ChatGPT-4 errou em 58 percent of the time em perguntas verificáveis sobre casos reais de tribunais federais, e o Llama 2 errou em 88 percent of the time, em pesquisa publicada em 2024. Esse número descreve uma tarefa diferente em modelos diferentes e não deve ser calculado em média com os números de fabricação de citações acima em uma única taxa principal. O que ambos os estudos concordam é a forma do problema: uma porcentagem sem uma versão do modelo e uma data associadas não descreve nada específico. O padrão mais amplo, ao longo de seis desses estudos que abrangem 2023 a 2026, é um tema próprio: does ChatGPT make up references o cobre integralmente. O que importa especificamente para uma bibliografia permanece mais restrito: se a anotação revela a fabricação antes que alguém verifique o DOI.

Como verificar cada entrada em uma bibliografia anotada redigida por IA

Comece pela linha de referência: pesquise o título exato no Google Scholar ou no próprio site da revista, e trate um DOI como não confirmado até que ele realmente resolva para esse título, pois uma citação fabricada pode trazer um DOI que leva ao artigo real e não relacionado de outra pessoa. Um verificador de citações de IA que resolve cada entrada em relação a um banco de dados acadêmico real automatiza essa busca em vez de deixá-la para uma consulta manual para cada fonte individual.

Depois, verifique a anotação em relação à própria fonte, e não em relação ao quão convincente ela parece. Abra o resumo real e confirme se a amostra, o método e a conclusão que a anotação afirma estão de fato nele. Um gerador gratuito de bibliografia anotada que fundamenta cada resumo no próprio resumo do artigo, em vez de compor um a partir da memória, mostra como é uma anotação genuinamente fundamentada na fonte ao lado de uma que não foi.

Para as entradas que sobreviverem à auditoria, citar ChatGPT em APA e citar ChatGPT em MLA são apresentados passo a passo.

Nada disso altera a forma como você formata uma entrada depois de confirmar que ela é real. Como citar o ChatGPT em si é uma questão अलगada, tratada em detalhe para APA, MLA, Chicago e IEEE, e um gerador de citações formata a referência comum da mesma maneira, independentemente do estilo. O que nenhum dos dois detecta é uma anotação que descreve um artigo que ninguém escreveu, fluente o bastante para que ninguém pensasse em verificar.