Probabilidade de token e log-verossimilhança na detecção por IA

Se você perguntar a um detector como ele chegou a essa pontuação, a maioria de suas interfaces de usuário lhe dará a mesma resposta: um parágrafo com algumas palavras sombreadas mais escuro do que outras. O sombreamento não é um palpite. Ele vem de um número associado a cada token na passagem, calculado antes que o detector sequer toque em perplexity, burstiness ou em uma porcentagem final.

É uma probabilidade de token, e toda a detecção por probabilidade de token ai se baseia nisso, desde a base. Qualquer número de métricas que um detector venha a relatar, incluindo as duas que abordamos em outra parte deste site, é apenas aritmética aplicada a uma série desses números. A camada abaixo da camada em que a maioria das explicações para é onde você precisa pensar sobre o que um token realmente é, o que significa a distribuição do modelo sobre ele e por que a aritmética opera em espaço logarítmico em vez de probabilidade bruta. A maioria das explicações para aí.

Nada disso precisa permanecer opaco. Um token, uma distribuição de probabilidade e um logaritmo são ferramentas comuns, não segredos proprietários, e as mesmas três ideias explicam como os detectores de IA realmente funcionam, do texto bruto a um único número em um relatório.

Detecção por probabilidade de token ai: da distribuição à pontuação

A detecção por probabilidade de token ai funciona em três etapas. Um modelo de linguagem atribui uma probabilidade a cada possível próximo token, dado o que veio antes. Essas probabilidades por token são convertidas em logaritmos e somadas ao longo da passagem, o que contorna um problema numérico com o qual a multiplicação bruta se depara quase imediatamente. A soma resultante, média e reescalonada, é o que acaba aparecendo como uma medida de perplexity ou alimenta a decisão de um classificador. Cada etapa é uma parte específica e verificável de aritmética, não uma caixa preta.

O que um token realmente é

Um token não é uma palavra. Modelos de linguagem modernos dividem o texto em partes de subpalavras com um algoritmo como a codificação byte pair, de modo que uma palavra comum como 'the' geralmente é um token, uma palavra menos comum como 'perplexity' se divide em duas ou três partes, e um nome desconhecido pode se fragmentar em caracteres individuais. Uma passagem de inglês comum é tokenizada de forma confiável em mais partes do que tem palavras, o que vale a pena saber antes de confiar em qualquer contagem de palavras que uma ferramenta lhe devolva.

O modelo nunca vê palavras do modo como um leitor vê. Ele vê uma sequência de inteiros, cada um um índice em um vocabulário fixo com o qual o modelo foi treinado. Tudo o que token probability ai detection faz a partir desse ponto opera sobre essa sequência de inteiros, não sobre a string original de letras, o que em parte explica por que o funcionamento interno de um detector pode parecer desconectado de como uma pessoa realmente lê uma frase.

A Distribuição do Modelo Sobre o Próximo Token

Em cada posição de uma sequência, um modelo de linguagem autoregressivo não produz uma previsão. Ele produz uma distribuição completa de probabilidade em todo o seu vocabulário, dezenas de milhares de números que somam um, classificando cada possível próximo token do mais para o menos provável, dado tudo o que veio antes. Dê a um modelo a frase 'the results of the' e ele distribui a maior parte dessa massa de probabilidade entre alguns substantivos plausíveis, 'study,' 'experiment,' 'analysis,' enquanto atribui uma parcela praticamente nula a algo como 'marmalade.'

O token que de fato aparece em seguida em um documento real ocupa algum lugar nessa classificação, e a probabilidade atribuída a ele é a matéria-prima da qual todo o resto é construído. Um modelo que produz seu próprio texto pode se apoiar diretamente nessa distribuição, escolhendo repetidamente entre as opções mais próximas do topo. Um detector que lê o texto final de outra pessoa só pode perguntar, depois do fato, quanta probabilidade o modelo teria atribuído à escolha que foi realmente feita.

A probabilidade de uma sequência inteira é o produto da probabilidade de cada token, dado tudo o que veio antes; se encadeamos essa pergunta por token ao longo de um documento inteiro usando a regra padrão de probabilidade conjunta, o resultado final é um único número que descreve o quão esperado era o trecho inteiro. Esse produto é o ponto em que a aritmética começa a falhar, e é por isso que a próxima seção existe.

Por que a Log-Verossimilhança Substitui a Probabilidade Bruta

Multiplicar probabilidades entre si é matematicamente correto e, na prática, inútil depois de algumas dezenas de tokens. Cada probabilidade individual é uma fração menor que um, então um produto acumulado diminui toda vez que outro token é multiplicado, e diminui rapidamente. Depois de algumas centenas de tokens, um produto bruto pode cair muito abaixo do menor número que um computador consegue representar, de modo que ele é arredondado para exatamente zero, um modo de falha chamado underflow.

Quando isso acontece, o número não carrega informação alguma. Um documento que era apenas improvável e um documento que era extremamente, caoticamente improvável ambos colapsam para o mesmo zero, sem qualquer forma de distingui-los depois. Os logaritmos resolvem isso porque o logaritmo de um produto é igual à soma dos logaritmos, uma identidade da álgebra básica. Somar uma sequência de números negativos comuns não sofre underflow como acontece ao multiplicar uma sequência de frações pequenas, e além disso é mais barato de calcular.

Comprimento do trecho (ilustrativo)	Probabilidade bruta, um produto acumulado	Soma das log-probabilidades
12 tokens com um ilustrativo 0.1 cada	1 x 10 to the power of -12, ainda representável	aproximadamente -27.6
350 tokens com um ilustrativo 0.1 cada	1 x 10 to the power of -350, sofre underflow para exatamente 0	aproximadamente -805.9

Esta é uma ilustração simplificada. As probabilidades reais por token variam enormemente, em vez de permanecerem em um 0.1 fixo, mas a direção do problema está exatamente correta. Assim que um produto bruto sofre underflow e vai a zero, a comparação de que um detector realmente precisa, se este documento era mais ou menos esperado do que aquele, torna-se impossível. A soma das log-probabilidades nunca falha dessa maneira. Ela permanece um número preciso, comum e comparável, não importa quão longo seja o trecho, que é a razão real pela qual a detectabilidade é medida em espaço logarítmico, e não em espaço de probabilidade bruta.

De Pontuações por Token a uma Pontuação de Detecção

Somar as log-probabilidades ao longo de um trecho produz a log-verossimilhança total do documento sob o modelo de referência. Dividir pelo número de tokens remove o efeito do comprimento e deixa a log-verossimilhança média por token, um número finalmente comparável entre um ensaio de quinhentas palavras e um capítulo de tese de cinco mil palavras. Negue essa média e aplique exponenciação, e o que resulta é a pontuação de perplexidade, uma métrica que este conjunto cobre integralmente em uma análise separada sobre o que a perplexidade realmente mede.

As mesmas cifras por sentença, acompanhadas quanto à variação ao longo de um documento em vez de condensadas em uma única média, são o que constitui a burstiness, um sinal relacionado, mas separado, da perplexidade. Ambas partem dos mesmos números por token descritos acima. Elas apenas fazem aritmética diferente sobre eles.

Uma média simples não é a única maneira de usar essa matéria-prima, e a pesquisa avançou muito além disso. DetectGPT, publicado na ICML 2023 por Mitchell, Lee, Khazatsky, Manning e Finn, parte de uma propriedade diferente da mesma função de probabilidade: o texto amostrado de um modelo de linguagem tende a situar-se em uma região em que pequenas reformulações fazem a log-probabilidade cair, em vez de subir, um padrão que o artigo chama de curvatura negativa.

Em vez de treinar um classificador ou usar uma marca d'água, este método perturba uma passagem, produz pequenas variações em como ela é reescrita e, em seguida, recalcula a pontuação de cada variação com o mesmo modelo. O artigo compara isso com a melhor linha de base zero-shot e constata que, em texto gerado por um modelo de 20-billion-parameter, este método alcança 0.95 AUROC, enquanto a melhor linha de base zero-shot alcança 0.81 AUROC.

A Mesma Distribuição, Usada para Marcar em Vez de Detectar

Até aqui, tudo tratou a distribuição de probabilidade como algo lido depois do fato. Ela também pode ser tocada no momento da geração, o que inverte completamente o problema. Um método de 2023 de Kirchenbauer, Geiping, Wen, Katz, Miers e Goldstein seleciona uma lista curta aleatória de tokens permitidos antes de cada palavra ser produzida, com base em um hash do que veio antes, e conduz suavemente a amostragem em direção a essa lista curta. O viés é invisível para um leitor e pode ser recuperado depois com um teste estatístico em um curto trecho de texto, sem necessidade de acesso ao modelo original.

O SynthID do Google DeepMind coloca uma versão dessa ideia em produção: ele ajusta as pontuações de probabilidade do próximo token no momento da geração e está ativo hoje no aplicativo Gemini e na experiência web. A OpenAI construiu um sistema comparável e não o lançou. A reportagem atribui a decisão em parte a uma pesquisa na qual cerca de 30 percent dos usuários do ChatGPT disseram que a marca d'água os faria usar o produto menos, além de preocupações sobre quão bem uma marca d'água sobreviveria à paráfrase.

O relatório de um detector mostra uma palavra sombreada ou uma única porcentagem e para por aí, sem jamais mostrar a distribuição da qual tudo isso veio. O verificador de perplexidade gratuito da TextPulse executa uma versão simplificada da mesma pontuação por token em seu próprio rascunho, o que é uma maneira mais direta de ver onde uma passagem se situa do que ler um veredito de segunda mão.

Duas páginas vizinhas tratam disso. Se os detectores ainda dependem de burstiness mudou desde 2023, e como GPTZero transforma essas mesmas probabilidades em uma pontuação é descrito em sua própria página.

Ele fica ao lado do restante das ferramentas gratuitas do TextPulse, de modo que o mesmo rascunho pode ser verificado quanto ao ritmo e à estrutura, bem como à previsibilidade em nível de palavra, sem abrir uma dúzia de abas separadas para fazer isso.