Falsos positivos em detectores de IA: por que a escrita humana é sinalizada

Em 1982, o New England Journal of Medicine publicou um artigo sobre citomegalovírus em pacientes submetidos a transplante de medula óssea. Ele passou pela revisão por pares e permaneceu no arquivo por quatro décadas. Em 2023, pesquisadores o submeteram a um detector de escrita por IA que a OpenAI havia lançado publicamente, e a ferramenta o classificou como 99.96 percent likely to be AI-generated, trinta e sete anos antes de o modelo por ele supostamente escrito existir. Esse é um falso positivo de detector de IA em sua forma mais pura: um documento sinalizado como escrito por máquina que não poderia, de modo algum, ter sido escrito por máquina.

Esse exemplo é extremo apenas em sua cronologia. O padrão subjacente, um detector lendo prosa formulaica e previsível como se fosse produzida por máquina, independentemente de quem a escreveu ou quando, aparece constantemente em submissões comuns: ensaios, cartas de apresentação, relatórios de laboratório, declarações pessoais. Este texto aborda o que causa um falso positivo, quais tipos de escrita estão mais expostos e por que uma única pontuação sinalizada não é a evidência que parece ser.

O que é um falso positivo de detector de IA?

O falso positivo de detector de IA é um texto escrito por humanos que uma ferramenta de detecção classifica como gerado por IA. Nada sobre o processo, a honestidade ou a habilidade do autor está sendo medido. A ferramenta compara a forma estatística da frase, o quão previsíveis são as escolhas de palavras e a estrutura, com a forma que aprendeu a associar à produção de máquina.

Os fornecedores relatam taxas de falso positivo como uma única porcentagem pequena, geralmente abaixo de um ou dois por cento. Esse número descreve um teste controlado em um benchmark que o fornecedor construiu, não uma garantia sobre qualquer documento individual. A questão mais ampla de se os detectores de IA são de fato precisos já foi testada de forma independente, e os resultados apontam para outro lugar, às vezes muito acima de qualquer número divulgado pelo fornecedor. Este texto permanece mais restrito: quais tipos de escrita elevam esse risco e o que uma pontuação sinalizada pode e não pode dizer a alguém.

Quais características da escrita fazem o texto humano parecer produzido por máquina

Quatro tipos de escrita comum apresentam o maior risco, e nenhum deles envolve uma pessoa fazendo algo errado. Documentos curtos, escrita altamente formulaica, material citado ou baseado em modelo, e escrita que foi revisada com rigor tendem todos a obter pontuações de maior previsibilidade do que a prosa composta livremente, que é a única propriedade que todo detector realmente mede. Um verificador gratuito de burstiness mede diretamente essa mesma variação, o que é uma maneira mais rápida de ver o padrão do que ler uma descrição dele.

Alguns gêneros são formulaicos por design. Uma seção de métodos, um relatório de laboratório, uma carta de apresentação padrão e uma revisão de literatura todos recompensam a expressão convencional em vez da inventiva, porque a convenção é o que torna o documento utilizável para seu leitor. Pesquisadores testaram isso diretamente em textos reais: eles analisaram 14,400 resumos de periódicos publicados entre 1980 e 2023, anos antes de qualquer large language model existir, por meio de um detector disponível publicamente. Até 8 percent foram sinalizados como gerados por AI, independentemente do ano de publicação, e os resumos do New England Journal of Medicine foram sinalizados em 10.24 percent, a maior taxa de falso positivo entre os cinco periódicos testados.

O teste não poderia estar detectando nada sobre ChatGPT, já que ChatGPT não existia durante a maior parte dos anos que ele amostrou. Ele detectou gênero. Mais formalmente, como a análise estatística de 2026 do problema de detecção colocaria, não há como construir um detector que distinga entre uma frase que é previsível porque foi escrita por software e uma frase que é previsível porque é o tipo de coisa que você escreve em seu gênero. Elas parecem exatamente iguais do lado de fora.

A edição pesada empurra na mesma direção. Um rascunho inicial carrega as irregularidades específicas de um escritor, a ordem incomum das palavras, a frase que se alonga porque o pensamento também se alongou. Uma revisão minuciosa, especialmente uma feita por outra ferramenta, tende a suavizar exatamente essas irregularidades. A maior comparação independente de ferramentas de detecção até o momento testou 14 delas e constatou que a precisão caiu ainda mais, para todas as ferramentas, quando o texto de amostra havia sido parafraseado ou traduzido por máquina.

Traço de escrita	Por que isso reduz a imprevisibilidade aparente de um documento	O que a evidência mostra
Submissões curtas	Menos texto deixa menos espaço para a variação natural que separa o ritmo humano do ritmo da máquina	As pontuações em documentos curtos oscilam mais com base em algumas poucas frases incomuns
Escrita formulaica ou específica de uma disciplina	A convenção do gênero recompensa a expressão esperada em vez da inventiva	14,400 resumos de periódicos anteriores ao ChatGPT (1980 a 2023) ainda acionaram até 8% de falsos positivos; os resumos de um periódico chegaram a 10.24%
Rascunhos fortemente editados ou parafraseados	Uma etapa de polimento suaviza as irregularidades individuais que um detector lê como humanas	Uma comparação independente de 14 ferramentas constatou que a precisão caiu ainda mais após a paráfrase ou a tradução por máquina
Material citado ou baseado em modelo	O trecho citado carrega a assinatura estatística de sua fonte, não a do escritor que cita	Detectores que não excluem citações pontuam o documento ao redor com base em texto emprestado

Por que as taxas publicadas e as taxas no mundo real não coincidem

Todo detector importante publica uma taxa de falso positivo próxima de um por cento ou inferior. Testes independentes das mesmas ferramentas, realizados em documentos diferentes sob condições diferentes, rotineiramente relatam algo muito mais alto, às vezes por um fator de dez ou mais. Ambas as cifras podem estar corretas e ainda assim descrever quase nada em comum, porque não estão medindo a mesma coisa.

Turnitin é um exemplo útil precisamente porque publica mais detalhes do que a maioria dos concorrentes: uma taxa de falso positivo abaixo de 1 por cento no nível do documento, desde que mais de 20 percent of de uma submissão seja sinalizado como escrito por IA, juntamente com uma declaração da empresa de que os resultados no mundo real diferem de seus próprios testes de laboratório. The Washington Post analisou 16 documentos reais com a mesma ferramenta em 2023 e constatou que mais da metade retornou pelo menos parcialmente identificada de forma incorreta, incluindo uma redação inteiramente escrita por humanos marcada como parcialmente gerada por IA. Nenhum dos números é fabricado. Eles vêm de amostras diferentes, limiares diferentes e definições diferentes do que conta como um sinalizador.

A mesma lacuna aparece em todo o setor, não apenas em uma empresa. Essa comparação de 14 ferramentas constatou que todas ficaram abaixo de 80 percent de precisão no total, e que seis das quatorze produziram um falso positivo em texto humano sem modificações antes que qualquer paráfrase entrasse em cena. Um número publicado descreve um benchmark. Ele não descreve o documento que está atualmente diante de um professor.

Por que uma pontuação confiante não é uma acusação confiante

Taxa de falso positivo parece se referir à chance de um estudante sinalizado como problema ser inocente. Mas não. Ela descreve como um teste funciona para todos que o fazem. E essas são perguntas diferentes, com respostas diferentes, assim como em qualquer teste de triagem na medicina ou na segurança.

Uma análise estatística de março de 2026, de um pesquisador da Griffith University, torna explícita a matemática subjacente. Trate a detecção de IA como um teste aplicado a uma população de escritores estudantes, em vez de a um único documento isolado, e surge uma troca: sempre que alguma parcela dessa população escreve de um modo que se sobrepõe naturalmente à saída típica de IA, próxima da convenção do gênero, próxima da faixa de um aprendiz de segunda língua, qualquer detector com poder real para identificar texto escrito por IA precisa falhar em parte dessa parcela sobreposta. Isso não é uma afirmação de que um detector específico foi mal construído. É uma propriedade de testar uma população diversa com um único documento e sem qualquer outra evidência.

O próprio exemplo ilustrativo do artigo mostra a escala envolvida. Suponha que 10 percent de uma população estudantil escreva de modo suficientemente próximo da saída típica de IA, e que um detector seja calibrado para identificar 80 percent do trabalho realmente escrito por IA. A matemática então exige uma taxa média de falso positivo de pelo menos 7.5 percent nessa população. Isso não é uma falha na engenharia do detector, é uma consequência direta de quanto a escrita desse grupo se sobrepõe, em termos estatísticos, àquilo que está sendo detectado.

Aplicado a uma universidade de 10,000 estudantes, esse limite inferior por si só implica cerca de 750 falsos alarmes em toda a população, uma consequência matemática de testar uma população diversa contra um único documento, sem outras evidências a considerar. O autor do artigo é explícito ao afirmar que esses números específicos são ilustrativos, e não medidos em uma instituição real. O exemplo demonstra a forma do problema, e não uma previsão específica para qualquer campus em particular.

Nada disso significa que uma pontuação sinalizada seja sem sentido. Significa que a pontuação é um sinal fraco, em nível populacional, ao qual se pede que responda a uma questão sobre um único indivíduo, uma incompatibilidade que nenhum refinamento de fornecedor consegue resolver por completo por si só. Uma leitura responsável trata o número como um incentivo para reunir evidências melhores: rascunhos, histórico de versões, o rastro documental comum de alguém que de fato está escrevendo algo. As ferramentas gratuitas do TextPulse permitem que um escritor verifique onde um rascunho se encontra atualmente nessas mesmas medições antes que qualquer outra pessoa o faça, o que é um uso diferente da tecnologia em comparação com tentar derrotar qualquer detector específico.

Quais Escritores Enfrentam o Maior Risco

A pesquisa mostra dois grupos que se destacam mais do que quaisquer outros: pessoas que estão escrevendo em uma segunda língua e pessoas que, por razões não relacionadas a como escreveram seu ensaio, são naturalmente muito estruturadas ou repetitivas ao escrever. Esses dois tipos de escritores aparecem na mesma assinatura estatística que um detector é construído para identificar.

Falantes de inglês não nativos carregam o maior risco documentado. Testes independentes constataram repetidamente que detectores leem erroneamente a escrita acadêmica fluente em segunda língua como gerada por máquina em taxas muito mais altas do que a escrita de falantes nativos. A página da TextPulse para escritores acadêmicos de ESL aprofunda o mecanismo por trás desse risco, inclusive quais padrões de formulação estão por trás dele.

Um segundo grupo, menos discutido, enfrenta um problema relacionado. Pesquisadores compararam cerca de 60.000 publicações do Reddit, divididas entre um subconjunto identificado como provavelmente escrito por autores autistas e uma amostra geral, e submeteram ambos a um detector baseado em GPT-2. Ambos os grupos permaneceram abaixo de 2 percent flagged no total, mas o subconjunto provavelmente autista foi sinalizado em uma taxa significativamente mais alta do que a amostra geral. A escrita que tende a uma formulação literal, repetitiva e rigidamente padronizada, uma característica documentada de alguns estilos de comunicação autista, produz exatamente o texto de baixa variação que um detector é construído para identificar.

Dois fornecedores publicam material suficiente para verificar a afirmação. A taxa de falso positivo do Turnitin é apresentada separadamente, e a precisão do ZeroGPT é examinada em sua própria página. Sobre quem esses erros recaem com mais força é outra questão, e por que escritores de inglês não nativos são sinalizados com mais frequência tem sua própria resposta.

Nada disso provavelmente ficará mais simples em breve. Os detectores continuarão melhorando na identificação de texto genuinamente escrito por máquina, e a diversidade populacional continuará produzindo alguma taxa de acusação falsa que uma engenharia melhor, por si só, não consegue eliminar por completo. A mudança mais útil já está ocorrendo em algumas instituições, tratar uma pontuação como o início de uma conversa, e não como o fim dela, e perguntar sobre qual população uma taxa publicada foi de fato testada antes de confiar que ela se aplica ao documento diante delas.