Como funcionam os detectores de IA? Perplexidade, burstiness e probabilidade de token

Sua universidade começou a processar as submissões por meio de um detector de IA, e um relatório retornou com um número que você não esperava. Antes de tentar contestá-lo, é útil saber o que esse número significa. Como funcionam os detectores de IA? Eles não leem a escrita de máquina do mesmo modo que uma pessoa lê. Eles medem quão previsível o seu texto é para um modelo de linguagem, e então transformam essa previsibilidade em uma pontuação. Nada nesse processo examina o que você quer dizer, o seu argumento, ou se você realmente escreveu aquilo.

Tenho passado anos construindo ferramentas que analisam textos estatisticamente, e a coisa mais útil a entender sobre a detecção é esta: trata-se de uma medida de tipicidade, não de origem. Quando isso fica claro, tanto a tecnologia quanto suas falhas passam a fazer muito mais sentido.

O que um detector está realmente medindo

Um detector não sabe quem escreveu nada. O que ele tem é um modelo de linguagem e uma função de pontuação. O modelo lê o seu texto da esquerda para a direita, e em cada ponto produz uma distribuição de probabilidade sobre qual palavra deve vir a seguir. Dê a ele as palavras "the results of the" e ele classificará "study" como a mais provável, "experiment" um pouco abaixo, e "marmalade" em algum lugar perto de zero.

Então o detector faz uma pergunta ao seu documento: com que frequência este texto escolheu a palavra que o modelo esperava? Uma escrita que continua caindo em palavras de alta probabilidade parece produzida por máquina, porque é exatamente isso que um gerador de texto faz. O modelo amostra do topo da sua própria distribuição, repetidas vezes, por milhares de tokens.

É por isso que toda essa categoria está em terreno mais instável do que o marketing sugere. Um detector não está encontrando uma marca d'água nem uma impressão digital. Ele está percebendo que a sua prosa é estatisticamente pouco surpreendente, e uma prosa pouco surpreendente tem muitas causas além de um chatbot.

Perplexidade: o quanto o modelo fica surpreso

A medida principal é chamada de perplexidade, e é mais simples do que parece. Pegue a probabilidade que o modelo atribuiu a cada palavra que de fato apareceu, faça a média dos logaritmos dessas probabilidades e exponencie o resultado. O que se obtém é um único número que descreve o quanto o modelo se surpreendeu com o seu documento. Você pode verificar a perplexidade do seu próprio rascunho em vez de adivinhá-la.

Perplexidade baixa significa que o texto seguiu para onde o modelo esperava. Perplexidade alta significa que ele continuou tomando rumos que o modelo não esperava. A escrita humana tende a ficar mais alta, porque as pessoas recorrem ao substantivo específico incomum, à construção incomum, à frase que começa em um ponto inesperado. O texto gerado tende a ficar mais baixo, porque o processo de decodificação é construído para evitar exatamente esses movimentos.

Compare duas maneiras de abrir uma seção de métodos. "The results of the study were statistically significant" é uma sequência que quase qualquer modelo preveria com alta confiança, porque não traz informação inesperada. "Two of the three cohorts drifted before week six, which we had not planned for" é muito menos previsível, porque traz informação específica e incômoda que não poderia ser adivinhada a partir do restante do artigo. A segunda custa ao detector uma surpresa real, e é essa surpresa que se registra como humana.

Burstiness: a variância, não a média

A perplexidade, por si só, não é suficiente, porque um documento pode resultar em uma média perfeitamente razoável e, ainda assim, ser suspeitamente uniforme por baixo. O que importa é a variação ao longo do texto, e é isso que a burstiness mede: o quanto o comprimento das frases e a perplexidade no nível da frase oscilam à medida que a escrita avança. Um verificador de burstiness mostrará essa dispersão diretamente.

Aceleramos quando estamos confiantes e desaceleramos quando estamos nos resguardando, e esse ritmo permanece na prosa. As pessoas escrevem em surtos. Um parágrafo pode começar com uma frase declarativa curta de oito palavras, avançar para uma frase de trinta e quatro palavras que contém três orações e um parêntese, e então voltar a algo mais ágil.

A saída do modelo não faz isso de forma confiável. As frases se agrupam perto do comprimento médio. Os parágrafos vêm em conjuntos organizados. Cada seção começa reafirmando seu próprio título. A leitura é fluida e a pontuação é ruim, porque a baixa variância entre as frases é um dos sinais mais fortes de que um detector dispõe. Não é nenhuma frase isolada que o denuncia. É a uniformidade.

Sinal	O que mede	Por que o texto de máquina recebe pontuação baixa
Perplexity	O quanto o modelo é surpreendido pelas suas escolhas de palavras, em média ao longo do documento	A decodificação amostra, por projeto, tokens de alta probabilidade
Burstiness	Quanto o comprimento das frases e a previsibilidade variam ao longo do texto	A saída se agrupa perto da média em vez de oscilar
Token probability	A probabilidade por palavra a partir da qual as outras duas são calculadas	Longas sequências de escolhas individualmente pouco notáveis

Probabilidade de token e de onde vem a pontuação

Ambos esses números são construídos a partir de um terceiro, a log-verossimilhança por token, a matéria-prima da qual todo o resto é calculado. Algumas ferramentas mostram isso diretamente, destacando os trechos em que seu texto foi mais previsível. Esses destaques não são acusações sobre frases específicas, qualquer que seja a implicação da interface. Eles são as partes que mais contribuíram para um número em nível de documento.

As abordagens de pesquisa avançaram além de limiares simples. DetectGPT e seus descendentes observam a curvatura, eles perturbam levemente seu texto e verificam se a verossimilhança cai no padrão que o texto gerado tende a apresentar. Outros comparam a mesma passagem sob dois modelos diferentes e usam a discordância como sinal.

Uma consequência importa para qualquer pessoa que esteja sendo avaliada. Como as métricas são calculadas em relação a um modelo de referência específico, uma pontuação é sempre relativa a esse modelo. Dois detectores podem ler o mesmo parágrafo e discordar completamente, e nenhum deles está com mau funcionamento. Eles estão respondendo à mesma pergunta com pontos de referência diferentes.

A segunda consequência é mencionada com menos frequência. Um modelo só consegue identificar uma passagem como previsível se essa passagem se assemelhar ao que ele foi treinado para reconhecer, de modo que a qualidade da detecção se degrada à medida que aumenta a distância entre o modelo de referência e aquilo que produziu o texto. Geradores mais recentes, disciplinas incomuns e idiomas diferentes do inglês ampliam essa distância. Isso faz parte do motivo pelo qual a precisão medida em um benchmark controlado raramente resiste ao contato com um conjunto real de submissões.

O que os detectores comerciais acrescentam além disso

As ferramentas que as instituições de fato compram não executam perplexidade de manual. Turnitin, GPTZero, Originality.ai e as demais treinam classificadores supervisionados em grandes conjuntos rotulados de texto humano e de máquina, usando características estatísticas junto com características estilísticas. O que o classificador aprende é aquilo que separa esses dois conjuntos em seus dados de treinamento, algo mais restrito e mais histórico do que "escrita por IA" em geral.

A dependência do treinamento é o problema silencioso. Um classificador treinado principalmente em uma geração de saídas de modelo precisa generalizar para modelos mais novos, para disciplinas desconhecidas e para autores cujo inglês não se assemelha à distribuição de treinamento. Os fornecedores publicam índices de precisão a partir de suas próprias avaliações, e benchmarks independentes rotineiramente ficam bem abaixo desses números para as mesmas ferramentas.

Ler uma pontuação sem superinterpretá-la

Um relatório de detector geralmente chega como uma porcentagem, e essa porcentagem é rotineiramente mal interpretada. Ela não é a proporção do seu documento escrita por uma máquina. Dependendo da ferramenta, trata-se da confiança do classificador, ou da parcela de frases que ultrapassou algum limiar interno, e os fornecedores muitas vezes são vagos quanto a qual deles. Dois relatórios que ambos mostrem sessenta por cento podem significar coisas bastante diferentes.

Também vale a pena saber o que faz uma pontuação variar por razões que não têm nada a ver com quem a escreveu. Documentos curtos são mais ruidosos, porque há menos texto para as médias se estabilizarem, e um ensaio de quinhentas palavras pode oscilar bastante com base em duas ou três frases incomuns. O material citado também conta, a menos que a ferramenta o remova, de modo que uma revisão de literatura repleta de citações em bloco herda a previsibilidade do que quer que cite. Uma passagem técnica carregada de terminologia padrão se comporta da mesma forma.

Se você recebe um alerta, a resposta útil é evidência, e não um argumento sobre a métrica. Histórico de versões, rascunhos, notas e registros de busca todos falam do processo, e o processo é o que um painel de conduta imprópria pode de fato avaliar. Não existe nenhum limiar que alguém possa apontar e que separe um escritor cuidadoso de um modelo.

Por que os detectores sinalizam textos que nenhum modelo produziu

Falsos positivos não são um mau funcionamento raro. Eles decorrem diretamente da medição da tipicidade. Qualquer texto que seja genuinamente previsível receberá uma pontuação de previsível, independentemente de quem o produziu.

Escritores de inglês não nativo são os mais afetados. Pesquisadores de Stanford descobriram que os detectores classificaram erroneamente uma grande parcela de ensaios de falantes não nativos como gerados por máquina, enquanto classificaram corretamente os ensaios de falantes nativos. A razão é mecânica, e não maliciosa: escritores que trabalham em uma segunda língua tendem a recorrer a construções já consagradas e a um vocabulário mais comum. Esse é exatamente o perfil de baixa perplexidade, e é por isso que ESL writers get flagged for writing carefully.

As convenções acadêmicas causam o mesmo problema. Uma seção de métodos deve ser formulaica. A escrita jurídica, a documentação técnica e a redação clínica recompensam a formulação padrão em vez da inventiva. A edição intensa agrava isso ainda mais, já que polir um rascunho normalmente significa remover as irregularidades que carregavam sua assinatura estatística.

As instituições perceberam. Vanderbilt desativou o recurso de detecção de IA do Turnitin em vez de agir com base em pontuações que não podia verificar, e outras universidades restringiram como os números podem ser usados em processos de má conduta. Trate a pontuação de um detector como uma evidência fraca, não como um veredito.

O que isso significa para sua própria escrita

O conselho prático que decorre da mecânica não é exótico, e nada disso envolve manipular nada. Varie deliberadamente o comprimento das suas frases, porque a uniformidade é o que é registrado. Mantenha o detalhe específico, o número real, a limitação real, a coisa que deu errado na semana seis. Competência genérica é o que recebe pontuação como se fosse produzido por máquina, e a especificidade é tanto uma escrita melhor quanto um sinal mais forte.

Mantenha também o seu próprio idioma. Se você tem um jeito de dizer as coisas, mantenha-o. O impulso de polir um rascunho até que ele soe como qualquer outro trabalho da área é o impulso que reduz a sua perplexidade.

Uma coisa a evitar: algumas ferramentas introduzem deliberadamente erros gramaticais para aumentar a perplexidade. Isso funciona na métrica e é uma péssima ideia para qualquer texto avaliado ou submetido à revisão por pares, já que você está trocando uma suspeita por uma certeza. O objetivo é uma escrita que seja lida como sua, não uma escrita que tenha sido danificada de propósito. Essa é toda a diferença entre reescrever para um leitor humano e quebrar o texto para enganar um avaliador.

Se você quiser ver esses números no seu próprio rascunho, em vez de aceitar a palavra de uma caixa-preta, as medições subjacentes não são secretas. As ferramentas gratuitas de análise de texto mostrarão onde sua prosa se situa, e você poderá decidir por si mesmo se os trechos planos são um problema de estilo que vale a pena corrigir.