Como funcionam os detectores de IA? Perplexidade, burstiness e probabilidade de token

Sua universidade começou a submeter trabalhos a um detector de IA, e um relatório voltou com um número que você não esperava. Antes de tentar contestá-lo, é útil saber o que esse número significa. Como funcionam os detectores de IA? Eles não leem a escrita de máquina como uma pessoa lê. Eles medem o quão previsível seu texto é para um modelo de linguagem, e então transformam essa previsibilidade em uma pontuação. Nada nesse processo examina o que você quer dizer, seu argumento, ou se você realmente escreveu o texto.

Tenho passado anos construindo ferramentas que analisam textos estatisticamente, e a coisa mais útil a entender sobre detecção é esta: trata-se de uma medição de tipicidade, não de origem. Quando isso fica claro, tanto a tecnologia quanto suas falhas fazem muito mais sentido.

O que um detector está realmente medindo

Um detector não sabe quem escreveu nada. O que ele tem é um modelo de linguagem e uma função de pontuação. O modelo lê seu texto da esquerda para a direita, e em cada ponto produz uma distribuição de probabilidade sobre qual palavra deve vir a seguir. Dê a ele as palavras "the results of the" e ele classificará "study" como a mais alta, "experiment" um pouco abaixo, e "marmalade" em algum lugar perto de zero.

Então o detector faz uma pergunta ao seu documento: com que frequência este texto escolheu a palavra que o modelo esperava? Uma escrita que continua caindo em palavras de alta probabilidade parece ter sido feita por máquina, porque é exatamente isso que um gerador de texto faz. O modelo amostra do topo de sua própria distribuição, repetidas vezes, por milhares de tokens.

É por isso que toda a categoria está em terreno mais instável do que o marketing sugere. Um detector não está encontrando uma marca d'água nem uma impressão digital. Ele está percebendo que sua prosa é estatisticamente pouco surpreendente, e uma prosa pouco surpreendente tem muitas causas além de um chatbot.

Perplexidade: o quanto o modelo fica surpreso

A medida principal é chamada de perplexidade, e ela é mais simples do que parece. Tome a probabilidade que o modelo atribuiu a cada palavra que de fato apareceu, faça a média dos logaritmos dessas probabilidades e exponencie o resultado. O que se obtém é um único número que descreve o quanto o modelo se surpreendeu com o seu documento. Você pode verificar a perplexidade do seu próprio rascunho em vez de adivinhá-la.

Perplexidade baixa significa que o texto seguiu para onde o modelo esperava. Perplexidade alta significa que ele continuou tomando rumos que o modelo não esperava. A escrita humana tende a ficar mais alta, porque as pessoas recorrem ao substantivo específico incomum, à construção incomum, à frase que começa em um ponto inesperado. O texto gerado tende a ficar mais baixo, porque o processo de decodificação é construído para evitar exatamente esses movimentos.

Compare duas maneiras de abrir uma seção de métodos. "Os resultados do estudo foram estatisticamente significativos" é uma sequência que quase qualquer modelo preveria com alta confiança, porque não traz informação inesperada. "Duas das três coortes se desviaram antes da sexta semana, o que não havíamos planejado" é muito menos previsível, porque traz informação específica e incômoda que não poderia ser inferida do restante do artigo. A segunda impõe ao detector uma surpresa real, e é essa surpresa que é registrada como humana.

Burstiness: a variância, não a média

A perplexidade, por si só, não é suficiente, porque um documento pode resultar em uma média perfeitamente razoável e, ainda assim, ser suspeitamente uniforme em sua estrutura interna. O que importa é a variação ao longo do texto, e é isso que a burstiness mede: o quanto o comprimento das frases e a perplexidade no nível da frase oscilam à medida que a escrita avança. Um verificador de burstiness mostrará essa dispersão diretamente.

Aceleramos quando estamos confiantes e desaceleramos quando estamos nos resguardando, e esse ritmo permanece na prosa. As pessoas escrevem em surtos. Um parágrafo pode começar com uma frase declarativa curta de oito palavras, avançar para uma frase de trinta e quatro palavras que contém três orações e um parêntese, e então voltar a algo mais ágil.

O resultado do modelo não faz isso de forma confiável. As frases se agrupam em torno do comprimento médio. Os parágrafos vêm em conjuntos organizados. Cada seção começa reafirmando seu próprio título. A leitura é fluida e a pontuação é ruim, porque a baixa variância entre as frases é um dos sinais mais fortes de que um detector dispõe. Não é nenhuma frase isolada que o denuncia. É a uniformidade.

Sinal	O que mede	Por que o texto de máquina recebe pontuação baixa
Perplexity	O quanto o modelo se surpreende com suas escolhas de palavras, em média ao longo do documento	Decodificação amostra tokens de alta probabilidade por projeto
Burstiness	Quanto o comprimento das frases e a previsibilidade variam ao longo do texto	A saída se agrupa em torno da média em vez de oscilar
Token probability	A probabilidade por palavra a partir da qual os outros dois são calculados	Longas sequências de escolhas individualmente pouco notáveis

Probabilidade de token e de onde vem a pontuação

Ambos esses números são construídos a partir de um terceiro, a log-verossimilhança por token, a matéria-prima a partir da qual todo o resto é calculado. Algumas ferramentas mostram isso diretamente, destacando os trechos em que seu texto era mais previsível. Esses destaques não são acusações sobre frases específicas, qualquer que seja a implicação da interface. São as partes que mais contribuíram para um número em nível de documento.

As abordagens de pesquisa avançaram além de limiares simples. DetectGPT e seus descendentes observam a curvatura: eles perturbam seu texto levemente e verificam se a verossimilhança cai no padrão que o texto gerado tende a mostrar. Outros comparam a mesma passagem sob dois modelos diferentes e usam a discordância como sinal.

Uma consequência importa para qualquer pessoa que esteja sendo avaliada. Como as métricas são calculadas em relação a um modelo de referência específico, uma pontuação é sempre relativa a esse modelo. Dois detectores podem ler o mesmo parágrafo e discordar completamente, e nenhum deles está com defeito. Eles estão respondendo à mesma pergunta com pontos de referência diferentes.

A segunda consequência é mencionada com menos frequência. Um modelo só pode identificar uma passagem como previsível se essa passagem se assemelhar ao que ele foi treinado para reconhecer, de modo que a qualidade da detecção se degrada à medida que aumenta a distância entre o modelo de referência e aquilo que produziu o texto. Geradores mais recentes, disciplinas incomuns e idiomas que não sejam o inglês ampliam essa distância. Isso faz parte do motivo pelo qual a precisão medida em um benchmark controlado raramente resiste ao contato com uma pilha real de submissões.

Por que o texto de IA é detectado em primeiro lugar

Como um modelo de linguagem escolhe sua próxima palavra

Se deixado por conta própria, um modelo de linguagem simplesmente apresentaria sua lista completa classificada de possíveis próximas palavras e deixaria que outra coisa escolhesse. Na prática, uma estratégia de decodificação faz essa escolha automaticamente, palavra após palavra, e a estratégia em execução altera a aparência da saída mesmo quando o modelo subjacente nunca muda.

A decodificação gulosa sempre seleciona a única palavra mais provável. No artigo que introduziu a amostragem por núcleo como solução, Ari Holtzman e coautores observaram que seguir essa estratégia leva a um texto que, em suas próprias palavras, é "sem graça e estranhamente repetitivo". A busca em feixe, que acompanha várias continuações prováveis ao mesmo tempo antes de se decidir por uma, encontra uma versão semelhante do mesmo problema.

As estratégias de amostragem reintroduzem alguma aleatoriedade, mas de forma controlada. A temperatura ajusta com que nitidez o modelo favorece suas próprias escolhas principais antes que uma palavra seja selecionada. A amostragem por núcleo, às vezes chamada de top-p, trunca a distribuição ao menor conjunto de palavras cuja probabilidade combinada ultrapassa um limiar e sorteia apenas desse conjunto, descrita no artigo original como amostragem de um núcleo dinâmico da distribuição, em vez de sua cauda pouco confiável.

Mesmo os ajustes menos determinísticos ainda se baseiam em uma lista restrita construída em torno do que o modelo já considera provável. A escrita humana nunca foi gerada por meio da classificação de um vocabulário e da seleção entre os itens do topo, portanto ela ultrapassa constantemente essa lista restrita. O sentido às vezes reside na palavra que nunca esteve na lista.

Planicidade do Vocabulário: Menos Palavras, Mais Seguras

A planicidade do vocabulário é a versão, no nível da palavra, do mesmo hábito. Em cada ponto de uma frase, dezenas de palavras poderiam plausivelmente dar continuidade a ela, mas algumas poucas ficam muito acima das demais na classificação do modelo, e a decodificação continua recaindo sobre esse pequeno grupo. Multiplique essa escolha por cada frase de um documento e a variedade de palavras efetivamente usadas se estreita de modo mensurável em comparação com uma escrita humana de extensão semelhante.

O efeito se acumula, em vez de permanecer constante. Um modelo que recorre à palavra mais bem classificada na primeira frase tem maior probabilidade de estabelecer um contexto em que a palavra mais bem classificada na segunda frase também seja comum, porque palavras comuns tendem a seguir palavras comuns. Um escritor humano interrompe constantemente essa deriva, recorrendo ao termo técnico específico, ao verbo ligeiramente incomum, à palavra que nomeia a coisa real em vez de uma aproximação segura dela. Essa diferença aparece como um vocabulário de trabalho mensuravelmente menor na versão gerada, mesmo quando ambas as versões descrevem os mesmos fatos subjacentes.

Essa é uma propriedade da passagem inteira, não de uma única escolha lexical. Uma palavra segura não prova nada. Uma página delas, frase após frase recorrendo ao mesmo nível de vocabulário comum, é o que o sinal em nível de palavra de um detector foi de fato construído para notar.

Uniformidade Sintática: As Mesmas Formas, Repetidas

A uniformidade sintática é a versão, no nível da frase, desse padrão. Ela não diz respeito ao comprimento de uma frase. Diz respeito a quantas formas gramaticais distintas uma passagem utiliza: como as frases se iniciam, como as orações se ligam umas às outras, com que frequência uma palavra de transição faz o trabalho de conectar uma ideia à seguinte. Um modelo que continua prevendo a próxima estrutura estatisticamente provável se acomoda em uma pequena rotação de formas e a repete.

Um parágrafo pode variar o comprimento de suas frases e ainda assim parecer sintaticamente plano se cada frase seguir a mesma estrutura sujeito-verbo-complemento, começar com o mesmo tipo de transição ou se resolver da mesma maneira. A previsibilidade está no padrão, não na contagem de palavras, uma distinção tratada com mais profundidade no guia sobre o que a burstiness realmente mede.

O que estreita	O que o texto otimizado para decodificação tende a fazer	O que a escrita humana tende a fazer
Escolha de palavras	Opta pela palavra comum mais provável em cada etapa	Busca a palavra específica ou menos comum que nomeia a coisa real
Abertura da frase	Repete uma pequena rotação de aberturas transitórias seguras	Varia a forma como uma frase começa, inclusive com aberturas que um modelo classificaria como menos prováveis
Estrutura da oração	Repete uma ou duas formas gramaticais preferidas ao longo de uma passagem	Mistura estruturas simples e complexas conforme o que uma frase exige

As escolhas que apenas um humano tende a fazer

O outro lado de uma faixa estreita é o que fica fora dela. Uma pessoa que descreve eventos reais recorre à medida exata em vez de uma arredondada, admite a parte que não funcionou, interrompe uma frase para corrigi-la no meio do pensamento ou escolhe uma palavra que é correta em vez de típica. Cada uma dessas escolhas é, do ponto de vista de um modelo de linguagem, um token de baixa probabilidade, exatamente o tipo de coisa que a decodificação foi construída para evitar.

Nada disso significa que uma escrita específica ou incomum esteja a salvo de qualquer sinalização, ou que uma escrita fluente e correta seja suspeita por padrão. Uma seção de métodos, uma cláusula jurídica ou um rascunho final muito editado podem cair em uma faixa estreita por razões que não têm relação com um modelo, e é por isso que uma única pontuação é uma descrição de um padrão, e não um veredito sobre quem o digitou.

Ver onde seu próprio rascunho se situa nessa faixa é mais útil do que adivinhar. O verificador de perplexidade gratuito e o verificador de burstiness gratuito do TextPulse medem separadamente a previsibilidade no nível da palavra e o ritmo de uma frase para a outra, de modo que um vocabulário uniforme e uma estrutura de frase repetida aparecem como dois sinais diferentes, em vez de um único número combinado.

Duas páginas mais específicas decorrem disso. Como o Turnitin detecta IA especificamente é uma delas, e a diferença entre sua pontuação de similaridade e sua pontuação de IA é a outra, já que as duas são rotineiramente confundidas entre si.

Ambas fazem parte da coleção de ferramentas gratuitas mais ampla, para qualquer pessoa que queira ver o padrão por si mesma, em vez de confiar cegamente em um único número.

Quanto da Web é Agora Gerado por IA?

Por várias medidas, o texto produzido por máquina agora supera o texto escrito por humanos online. Uma equipe da Amazon Web Services analisou 6,4 bilhões de frases da web e constatou que 57.1% existiam como traduções automáticas em três ou mais idiomas, em grande parte de baixa qualidade. Uma análise de 2025 da empresa de SEO Graphite constatou que pouco mais da metade dos artigos recém-publicados na web foi gerada por IA. A Wikipedia não está isenta: um estudo de Princeton sobre páginas criadas em agosto de 2024 mediu cerca de um em cada vinte novos artigos em inglês como substancialmente gerado por IA.

A participação está aumentando, porque o custo da produção dos modelos é várias ordens de grandeza menor do que o da escrita humana e todo incentivo comercial aponta na mesma direção. Plataformas inteiras agora funcionam sem escritores humanos de forma alguma: Chirper é uma rede social povoada inteiramente por contas de IA, na qual os humanos só podem observar, e SocialAI vende um feed em que toda resposta a você é um bot. Fóruns, seções de avaliações e threads de comentários carregam o mesmo padrão em menor escala.

Para a detecção, isso altera a taxa-base. Um classificador que lê texto arbitrário da web em 2023 poderia supor que a maior parte era humana; um classificador em 2026 não pode. Isso também retroalimenta os próprios modelos, já que cada nova geração é treinada em uma web que seus predecessores já escreveram, o que é uma das razões pelas quais os hábitos vocabulares que os detectores usam como referência se espalham em vez de desaparecer.

Para a sua própria escrita, a consequência é direta: a prosa escrita por humanos está se tornando a classe minoritária, e avaliadores, editores e leitores sabem disso. A suspeita elevada agora é o padrão, e é exatamente por isso que vale a pena entender o que um detector pode e não pode medir.

O que os detectores comerciais acrescentam além disso

As ferramentas que as instituições de fato compram não executam perplexidade de manual. Turnitin, GPTZero, Originality.ai e as demais treinam classificadores supervisionados em grandes conjuntos rotulados de texto humano e de máquina, usando características estatísticas junto com características estilísticas. O que o classificador aprende é aquilo que separa esses dois conjuntos em seus dados de treinamento, o que é algo mais restrito e mais histórico do que "AI writing" em geral.

A dependência do treinamento é o problema silencioso. Um classificador treinado principalmente em uma geração de saída de modelo precisa generalizar para modelos mais novos, para disciplinas desconhecidas e para autores cujo inglês não se assemelha à sua distribuição de treinamento. Os fornecedores publicam índices de precisão com base em suas próprias avaliações, e benchmarks independentes costumam ficar bem abaixo desses números para as mesmas ferramentas.

Ler uma pontuação sem superinterpretá-la

Um relatório de detector geralmente chega como uma porcentagem, e essa porcentagem é rotineiramente mal interpretada. Ela não é a proporção do seu documento escrita por uma máquina. Dependendo da ferramenta, trata-se da confiança do classificador, ou da parcela de frases que ultrapassou algum limiar interno, e os fornecedores muitas vezes são vagos quanto a qual. Dois relatórios que ambos mostrem sessenta por cento podem significar coisas bastante diferentes.

Também vale a pena saber o que faz uma pontuação variar por razões que não têm nada a ver com quem a escreveu. Documentos curtos são mais ruidosos, porque há menos texto para que as médias se estabilizem, e um ensaio de quinhentas palavras pode oscilar bastante com base em duas ou três frases incomuns. O material citado também conta, a menos que a ferramenta o remova, de modo que uma revisão de literatura repleta de citações em bloco herda a previsibilidade de tudo o que cita. Uma passagem técnica carregada de terminologia padrão se comporta da mesma forma.

Se você recebe um alerta, a resposta útil é apresentar evidências, e não discutir a métrica. Histórico de versões, rascunhos, notas e registros de busca todos dizem respeito ao processo, e é o processo que um painel de conduta imprópria pode de fato avaliar. Não existe um limiar que alguém possa apontar e que separe um escritor cuidadoso de um modelo.

Por que os detectores sinalizam textos que nenhum modelo produziu

Falsos positivos não são um mau funcionamento raro. Eles decorrem diretamente da medição da tipicidade. Qualquer texto que seja genuinamente previsível receberá uma pontuação de previsível, independentemente de quem o produziu.

Escritores de inglês não nativos são os mais afetados. Pesquisadores de Stanford descobriram que os detectores classificaram erroneamente uma grande parte das redações de falantes não nativos como geradas por máquina, enquanto classificaram corretamente as redações de falantes nativos. A razão é mecânica, e não maliciosa: escritores que trabalham em uma segunda língua tendem a recorrer a construções muito usadas e a um vocabulário mais comum. Esse é exatamente o perfil de baixa perplexidade, e é por isso que escritores de ESL são sinalizados por escrever com cuidado.

As convenções acadêmicas causam o mesmo problema. Uma seção de métodos deve ser formulaica. A redação jurídica, a documentação técnica e a descrição clínica recompensam a formulação padrão em vez da inventiva. A edição intensa agrava isso ainda mais, já que polir um rascunho normalmente significa remover as irregularidades que carregavam sua assinatura estatística.

As instituições perceberam. Vanderbilt desativou o recurso de detecção de IA do Turnitin em vez de agir com base em pontuações que não podia verificar, e outras universidades restringiram como os números podem ser usados em processos de má conduta. Trate a pontuação de um detector como uma evidência fraca, não como um veredito.

O que isso significa para sua própria escrita

O conselho prático que decorre da mecânica não é exótico, e nada disso envolve burlar qualquer coisa. Varie deliberadamente o comprimento das suas frases, porque a uniformidade é o que chama atenção. Mantenha o detalhe específico, a cifra real, a limitação real, a coisa que deu errado na sexta semana. A competência genérica é o que recebe pontuação como se fosse produzida por máquina, e a especificidade é ao mesmo tempo uma escrita melhor e um sinal mais forte.

Mantenha também o seu próprio idioma. Se você tem um jeito de dizer as coisas, preserve-o. O impulso de polir um rascunho até que ele soe como qualquer outro trabalho da área é o impulso que reduz sua perplexidade.

Uma coisa a evitar: algumas ferramentas introduzem deliberadamente erros gramaticais para aumentar a perplexidade. Isso funciona na métrica e é uma péssima ideia para qualquer texto avaliado ou submetido à revisão por pares, já que você está trocando uma suspeita por uma certeza. O objetivo é uma escrita que pareça sua, não uma escrita que tenha sido danificada de propósito. Essa é toda a diferença entre reescrever para um leitor humano e quebrar o texto para enganar uma pontuação.

Se você quiser ver esses números no seu próprio rascunho em vez de aceitar a palavra de uma caixa-preta, as medições subjacentes não são secretas. As ferramentas gratuitas de análise de texto mostrarão onde sua prosa se situa, e você poderá decidir por si mesmo se os trechos excessivamente uniformes são um problema estilístico que vale a pena corrigir.