Os detectores de IA são precisos? Falsos positivos e viés

Turnitin afirma que sua taxa de falso positivo é inferior a 1%. Um grupo de pesquisadores independentes testou múltiplos detectores em uma gama mais ampla de amostras de escrita de falantes não nativos de inglês. Eles constataram que a taxa média de falso positivo foi superior a 60% nesse mesmo tipo de escrita. Ambos os números são reais, ambos foram publicados, e ambos se referem a detectores que vendem para o mesmo mercado. Os detectores de IA são precisos? Isso depende de qual população foi testada, de qual detector foi usado e de como seu fornecedor o definiu desde o início.

Este post não vai reexplicar como um detector calcula essa pontuação. O mecanismo, perplexidade, probabilidade de token, como o classificador é treinado, é abordado em detalhe em outro lugar, e vale a pena ler isso primeiro, se você ainda não leu. O que importa aqui é o que acontece depois que a pontuação existe: com que frequência ela está errada, sobre a escrita de quem ela erra com mais frequência e quanto uma falsa acusação realmente custa a alguém que não fez nada de errado.

Os detectores de IA são precisos?

Não de forma consistente, e a distância entre as alegações de marketing e os testes independentes está bem documentada. Um grupo de pesquisadores liderado por Debora Weber-Wulff publicou suas conclusões sobre 14 ferramentas de detecção, incluindo 12 gratuitas e duas comerciais, que foram testadas contra uma mistura de texto humano e texto do ChatGPT em 2023. Eles constataram que nenhuma dessas ferramentas é precisa ou confiável, com um viés embutido para rotular texto de máquina como humano, e não o contrário. Duas das ferramentas comerciais incluídas nesse teste foram Turnitin e PlagiarismCheck. Todas as ferramentas nesse teste tiveram desempenho pior quando o texto foi parafraseado.

Mas, dois anos depois, as coisas não estão estagnadas. Um working paper da Booth School da University of Chicago, de Brian Jabarian e Alex Imas, submeteu três recém-chegados, Pangram, GPTZero e Originality.ai, e um concorrente de código aberto a testes rigorosos com quase 2.000 textos escritos por humanos, provenientes de blogs, notícias, resenhas e ficção. Em condições de teste controladas, a melhor ferramenta do conjunto nunca caiu abaixo de 99.8 percent accuracy e manteve sua taxa de falsos positivos em um nível baixo. O modelo de código aberto teve desempenho tão bom quanto o de um adivinhador aleatório. As coisas realmente melhoraram. Mais ou menos. Um pouco.

Mas o ponto crucial é a palavra controladas. Trechos de benchmark são limpos, completos e produzidos sob condições conhecidas. Um ensaio submetido não é nenhuma dessas coisas de forma confiável. Os resultados no mundo real podem não ser idênticos aos resultados de laboratório, como o próprio chief product officer da Turnitin afirmou publicamente, embora isso seja uma admissão rara e útil por parte de um fornecedor. A próxima seção coloca os números do fornecedor ao lado dos números independentes, para que a diferença fique visível em vez de apenas afirmada.

Reivindicações do fornecedor versus testes independentes

A tabela abaixo compara o que quatro detectores afirmam sobre si mesmos com o que pesquisadores independentes mediram quando testaram as ferramentas diretamente. Leia as duas colunas centrais em conjunto, não apenas a coluna do fornecedor.

Detector	Acurácia alegada pelo fornecedor	Observado independentemente	O que o fornecedor diz sobre falsos positivos
Turnitin	limiar de confiança de 98% antes de sinalizar, menos de 1% de falsos positivos no nível do documento	Cerca de 80% de acurácia, a melhor entre 12 ferramentas em uma comparação de 2023, em uma versão anterior da ferramenta	Menos de 1% no nível do documento acima de um limiar de 20% de texto escrito por IA, cerca de 4% no nível da frase
GPTZero	95.7% de detecção de texto de IA com uma taxa de falso positivo de 1% no benchmark independente RAID	96% de acurácia em trechos curtos, taxa de falso positivo abaixo de 1% em um estudo de 2025 da University of Chicago Booth	Relata uma taxa de falso positivo de 1% no benchmark RAID
Originality.ai	99% de acurácia, taxa de falso positivo de 0.5% (modelo Lite), 1.5% (modelo Turbo)	Taxa de falso positivo abaixo de 1%, mas deixou passar de 10% a 40% do texto escrito por IA no mesmo estudo de Booth	Publica números separados de falso positivo por nível de modelo
Pangram	Taxas de erro que afirma serem mais de 38 vezes menores do que as de ferramentas concorrentes, afirma não haver viés contra escritores de inglês não nativo	Acurácia nunca abaixo de 99.8%, taxa de falso positivo próxima de zero, no estudo de Booth	Afirma taxas de falso positivo próximas de zero em 10 domínios de texto e 8 modelos de linguagem

Duas coisas se destacam. Primeiro, todos os números dos fornecedores vêm de um laboratório controlado pelo próprio fornecedor, e os números de Booth vêm de pesquisadores que não têm nada a vender. Segundo, Turnitin não aparece de forma alguma nessa coluna do meio, pois o estudo de 2025 não o testou. Na tabela, seu número independente se baseia em uma comparação anterior de 2023, mas foi feito em uma versão mais antiga da ferramenta, então lembre-se disso ao olhar a tabela como uma comparação direta.

Quão precisa é a detecção de IA do Turnitin?

Turnitin não publica um único índice de precisão. Em vez disso, publica um limiar e uma troca. A empresa afirmou que só sinaliza um documento quando está 98 percent confiante de que a parte sinalizada foi escrita por IA, e que esse limiar é o que mantém a taxa de falso positivo em nível de documento abaixo de 1 percent. Turnitin estimou que detecta cerca de 85 percent da escrita auxiliada por IA, deixando o restante passar deliberadamente em vez de correr o risco de uma acusação equivocada.

A porcentagem real de falsos positivos que Turnitin retorna no nível da frase, em que uma interface destaca linhas específicas em vez de um documento inteiro, na verdade fica mais próxima de 4 percent. Este é o número que vale a pena conhecer se um professor fizer uma captura de tela de um único parágrafo sinalizado em vez de uma pontuação de documento inteiro, porque uma frase destacada carrega uma chance significativamente maior de estar errada do que a pontuação do documento ao lado dela.

Também vale notar que Turnitin reconheceu diretamente essa diferença. Eles constataram que seus primeiros resultados no mundo real, especialmente para documentos mais curtos, tinham taxas mais altas de falsos positivos do que o esperado com base em seus testes de laboratório. Então ajustaram o comprimento mínimo do documento para ser pontuado de 150 para 300 palavras. Isso mostra um fornecedor ajustando seu próprio produto porque o número publicado não se sustentou fora do laboratório, o que diz tanto quanto qualquer estudo independente.

O que um falso positivo realmente custa a um estudante

Isso aconteceu com um estudante de MBA executivo na School of Management de Yale. O estudante foi acusado de uma violação, no sentido mais literal possível. O detector envolvido foi GPTZero. O exame final do estudante em um curso de finanças havia sido sinalizado por um assistente de ensino que achou a redação longa e elaborada, com pontuação e gramática quase perfeitas. E esse professor específico estava passando o texto por GPTZero, que classificou as respostas como provavelmente geradas por IA.

Ele foi reprovado na disciplina e suspenso por um ano. Sua ação judicial, protocolada em um tribunal federal em fevereiro de 2025, afirma que a própria política de Yale restringe o uso de ferramentas como GPTZero exatamente por esse motivo, sua taxa documentada de falso positivo contra falantes não nativos de inglês, e que ele a utilizou em desacordo com essa política. Sua petição também cita que o GPTZero atribuiu uma pontuação de 100 por cento de texto gerado por IA a um texto acadêmico do próprio ex-presidente da universidade de Yale e do reitor da escola de negócios.

O juiz recusou-se a conceder uma liminar antecipada em maio de 2025. O caso ainda não foi resolvido, no momento em que escrevo. O autor, um cidadão francês, afirma que o mesmo viés conhecido contra falantes não nativos de inglês fez com que sua escrita apresentasse o desempenho que apresentou. É isso que examinamos na próxima seção. O que não está em debate é o preço, um ano perdido em um programa de graduação, uma nota de reprovação, despesas legais e vários meses lutando por uma pontuação em vez de obter um diploma. Uma taxa de falso positivo de 1 por cento parece pequena até que uma grande população a torne algo específico.

Quais características da escrita fazem o texto humano parecer produzido por máquina

Quatro tipos de escrita comum apresentam o maior risco, e nenhum deles envolve alguém fazendo algo errado. Documentos curtos, escrita fortemente formulaica, material citado ou baseado em modelos, e escrita que foi revisada com rigor tendem todos a receber pontuações como mais previsíveis do que a prosa composta livremente, que é a única propriedade que todo detector realmente mede. Um verificador gratuito de burstiness mede diretamente essa mesma variação, o que é uma maneira mais rápida de ver o padrão do que ler uma descrição dele.

Alguns gêneros são formulaicos por design. Uma seção de métodos, um relatório de laboratório, uma carta de apresentação padrão e uma revisão de literatura todos valorizam a expressão convencional em vez da inventiva, porque a convenção é o que torna o documento utilizável para seu leitor. Pesquisadores testaram isso diretamente em textos reais: eles analisaram 14,400 resumos de periódicos publicados entre 1980 e 2023, anos antes de qualquer modelo de linguagem de grande porte existir, por meio de um detector disponível publicamente. Até 8 percent foram sinalizados como gerados por IA, independentemente do ano de publicação, e os resumos do New England Journal of Medicine foram sinalizados em 10.24 percent, a maior taxa de falso positivo entre os cinco periódicos testados.

O teste não poderia estar detectando nada sobre ChatGPT, já que ChatGPT não existia durante a maior parte dos anos amostrados. Ele detectou gênero. Mais formalmente, como a análise estatística de 2026 do problema de detecção colocaria, não há como construir um detector que distinga entre uma frase previsível porque foi escrita por software e uma frase previsível porque é o tipo de coisa que se escreve em seu gênero. Elas parecem exatamente iguais de fora.

Edição intensa empurra em uma direção semelhante. Um rascunho inicial carrega as irregularidades específicas de um escritor, a ordem incomum das palavras, a frase que se alonga porque o pensamento também se alongou. Uma revisão cuidadosa, especialmente uma feita por outra ferramenta, tende a suavizar exatamente essas irregularidades. A maior comparação independente de ferramentas de detecção até o momento testou 14 delas e constatou que a precisão caiu ainda mais, para todas as ferramentas, depois que o texto da amostra foi parafraseado ou traduzido por máquina.

Traço de escrita	Por que isso reduz a aparente imprevisibilidade de um documento	O que as evidências mostram
Submissões curtas	Menos texto deixa menos espaço para a variação natural que separa o ritmo humano do ritmo da máquina	As pontuações em documentos curtos oscilam mais em função de algumas poucas frases incomuns
Escrita formulaica ou específica da disciplina	A convenção do gênero recompensa a frase esperada em vez da inventiva	14,400 resumos de periódicos anteriores ao ChatGPT (1980 a 2023) ainda acionaram até 8% de falsos positivos; os resumos de um periódico chegaram a 10.24%
Rascunhos amplamente editados ou parafraseados	Uma revisão de polimento suaviza as irregularidades individuais que um detector lê como humanas	Uma comparação independente de 14 ferramentas constatou que a precisão caiu ainda mais após a paráfrase ou a tradução automática
Material citado ou baseado em modelo	O trecho citado carrega a assinatura estatística de sua fonte, não a do escritor que o cita	Detectores que não excluem citações pontuam o documento ao redor com base em texto emprestado

Por que os detectores de IA classificam erroneamente falantes não nativos de inglês?

Mal, e por uma margem ampla. Essa é a conclusão do estudo que primeiro quantificou isso. Pesquisadores de Stanford executaram sete detectores de GPT amplamente usados contra 91 redações do TOEFL escritas por falantes não nativos de inglês e 88 redações de alunos da oitava série dos EUA. Os detectores leram as redações da oitava série corretamente quase sempre. Quando se tratou das redações do TOEFL, que foram escritas por adultos fluentes o suficiente para fazer um teste de inglês em nível de pós-graduação, os detectores registraram em média uma taxa de falsos positivos de 61.3 percent. Oitenta e nove das 91 redações foram sinalizadas como tendo sido geradas por GPT por pelo menos um dos sete detectores, 18 dessas redações foram sinalizadas por todos os sete detectores.

O mecanismo é o mesmo que governa o restante da detecção: vocabulário previsível e construção de frases mais simples são lidos como baixa perplexidade, e baixa perplexidade é lida como algo produzido por máquina, independentemente de quem esteja segurando a caneta. Escritores que trabalham em uma segunda língua recorrem a formulações bem estabelecidas porque é assim que a fluência em uma língua adicional realmente se parece, e esse é precisamente o perfil que um detector foi construído para sinalizar.

Escritores nessa posição não são bem atendidos por conselhos para simplesmente escrever de forma mais natural, já que natural foi exatamente o que foi sinalizado. A página da TextPulse para escritores acadêmicos de ESL aborda com mais profundidade os padrões de formulação por trás desse risco, incluindo o que os altera sem mudar o significado da frase.

Este não foi um caso isolado. Em dezembro de 2025, foi lançado um novo benchmark, explicitamente projetado para avaliar o viés nesses detectores. Ele incluiu mais de 200,000 amostras em múltiplas demografias e idiomas. Apesar de estar dois anos distante do primeiro estudo de Stanford e de incluir muitas versões diferentes de modelos dos mesmos detectores, esse benchmark revelou que o viés contra aprendizes da língua inglesa ainda está presente.

Isso não ocorre com todos os fornecedores. A própria documentação técnica da Pangram afirma que seu classificador não é tendencioso contra falantes não nativos de inglês. Os pesquisadores de Chicago Booth não testaram essa afirmação de forma independente, mas isso mostra que a geração mais recente de detectores está sendo construída com o problema em mente, em vez de ignorá-lo.

Se você quiser ver onde sua própria escrita se situa antes que outra pessoa a avalie, um verificador gratuito de perplexidade fornece o mesmo número subjacente que um detector calcularia, sem submeter nada a uma instituição primeiro.

Quem mais é sinalizado, e por quê

Falantes não nativos de inglês carregam o maior risco documentado, mas a mesma lógica estatística também alcança outros tipos de escrita. A equipe de Weber-Wulff constatou que todas as 14 ferramentas que testaram foram menos precisas quando aplicadas a textos parafraseados, o que descreve uma parcela significativa da escrita acadêmica que passou por um revisor, um editor ou a caneta vermelha de um orientador antes de alguém executar um detector sobre ela.

Nada disso significa que o número seja sem sentido, apenas que ele precisa de corroboração antes de significar qualquer coisa sobre uma pessoa específica. Se você tem um texto que soa uniforme, com comprimentos de frase semelhantes e ritmo semelhante ao longo de todo o texto, ele receberá uma pontuação mais parecida com a de uma máquina, independentemente de quem o escreveu ou por quê. Isso pode ser verificado diretamente usando um verificador de burstiness gratuito, em vez de ser apenas अनुमानado.

Um segundo grupo, menos discutido, enfrenta um problema relacionado. Pesquisadores compararam cerca de 60.000 publicações do Reddit, divididas entre um subconjunto identificado como provavelmente escrito por autores autistas e uma amostra geral, e submeteram ambos a um detector baseado em GPT-2. Ambos os grupos permaneceram abaixo de 2 percent flagged no total, mas o subconjunto provavelmente autista foi sinalizado a uma taxa significativamente mais alta do que a amostra geral. Uma escrita que tende a formulações literais, repetitivas e rigidamente padronizadas, uma característica documentada de alguns estilos de comunicação autista, produz exatamente o texto de baixa variação que um detector foi construído para identificar.

Por que uma pontuação confiante não é uma acusação confiante

Taxa de falso positivo parece se referir à chance de um estudante sinalizado como problemático ser inocente. Mas não. Ela descreve como um teste funciona para todas as pessoas que o realizam. E essas são perguntas diferentes, com respostas diferentes, assim como em qualquer teste de triagem na medicina ou na segurança.

Uma análise estatística de março de 2026, feita por um pesquisador da Griffith University, torna explícita a matemática subjacente. Trate a detecção por IA como um teste aplicado a uma população de estudantes escritores, e não a um documento isolado, e surge uma troca: sempre que alguma parcela dessa população escreve de um modo que naturalmente se sobrepõe à saída típica de IA, próxima da convenção do gênero, próxima da faixa de um aprendiz de segunda língua, qualquer detector com poder real para identificar trabalho escrito por IA precisa falhar em parte dessa parcela sobreposta. Isso não é uma afirmação de que um detector específico foi mal construído. É uma propriedade de testar uma população diversa com um único documento e sem qualquer outra evidência.

O próprio exemplo ilustrativo do artigo mostra a escala envolvida. Suponha que 10 percent da população estudantil escreva de forma suficientemente próxima da saída típica de IA, e que um detector seja ajustado para identificar 80 percent do trabalho realmente escrito por IA. A matemática então exige uma taxa média de falso positivo de pelo menos 7.5 percent em toda essa população. Isso não é uma falha na engenharia do detector, é uma consequência direta de quanto a escrita desse grupo se sobrepõe, do ponto de vista estatístico, àquilo que está sendo detectado.

Em escala para uma universidade de 10,000 estudantes, esse limite inferior por si só implica cerca de 750 falsos alertas em toda a população, uma consequência matemática de testar uma população diversa contra um único documento, sem qualquer outra evidência a ponderar. O autor do artigo é explícito ao dizer que esses números específicos são ilustrativos, e não medidos em uma instituição real. O exemplo demonstra a forma do problema, e não uma previsão específica para qualquer campus em particular.

Como é uma política defensável de detecção por IA

Yale já tinha uma política que, segundo relatos, restringe ferramentas como GPTZero, por razões muito próximas das que este artigo expôs: uma taxa documentada de falso positivo e um viés documentado contra escritores que não têm o inglês como língua materna. Portanto, esta não é tanto a história de um estudante azarado, mas sim de uma regra existente que não foi seguida. Quando uma política de fato faz valer a diferença entre uma pontuação e um veredito, então a pontuação se torna uma entrada, e não um veredito.

• Trate a pontuação como uma informação, nunca como a única base para uma constatação de má conduta
• Divulgue aos estudantes a taxa de falso positivo publicada da ferramenta antes de usá-la contra eles
• Aplique cautela extra a submissões curtas e à escrita em inglês de falantes não nativos, ambos pontos fracos documentados
• Garanta uma via de recurso que não exija refutar uma estatística

Nada disso é exótico. Está mais próximo de como qualquer peça isolada de evidência forense deveria ser tratada em qualquer outro contexto, útil, verificável e nunca suficiente por si só.

Para um escritor individual, o mesmo princípio se aplica antes de existir uma pontuação, e não depois. Um único número, de qualquer ferramenta, é uma estimativa e não um veredito, e tratá-lo como certeza em qualquer direção, seguro ou pego, exige do número mais do que ele pode sustentar.

A própria ferramenta AI humanizer tool da TextPulse informa um Human Score com a mesma lógica, uma estimativa calculada a partir do seu próprio texto, não um veredito de um detector sobre ele, útil como sinal de como um rascunho está sendo lido no momento, e não como uma promessa sobre o que qualquer detector específico dirá.

A questão da precisão se divide em questões mais restritas, cada uma com sua própria página. As evidências específicas sobre a taxa de falso positivo do Turnitin e sobre a precisão do ZeroGPT são tratadas separadamente. Se uma pontuação já foi usada contra você, há orientações práticas sobre o que fazer quando você é acusado de usar AI, sobre as evidências que você pode reunir para provar que não usou AI e sobre como escrever uma carta de recurso que responda à pontuação em seus próprios termos.

O número em qualquer relatório continuará mudando à medida que os fornecedores retreinam seus modelos e os pesquisadores continuam a testá-los contra casos mais difíceis. Mas o que não deve mudar é o hábito por trás disso, ler uma pontuação como uma medida entre várias, perguntar em que população ela foi validada e perguntar o que o fornecedor não está dizendo sobre os casos em que ainda erra.