Os detectores de IA são precisos? Falsos positivos e viés

Turnitin afirma que sua taxa de falso positivo é inferior a 1%. Um grupo de pesquisadores independentes testou vários detectores em uma gama mais ampla de amostras de escrita de falantes não nativos de inglês. Eles constataram que a taxa média de falso positivo foi superior a 60% nesse mesmo tipo de escrita. Ambos os números são reais, ambos foram publicados, e ambos se referem a detectores que vendem para o mesmo mercado. Os detectores de IA são precisos? Depende de qual população foi testada, de qual detector foi usado e de como o seu fornecedor o definiu desde o início.

Este post não vai reexplicar como um detector calcula essa pontuação. O mecanismo, perplexity, a probabilidade de token, como o classificador é treinado, está explicado em detalhe em outro lugar, e vale a pena ler primeiro, se você ainda não o fez. O que importa aqui é o que acontece depois que a pontuação existe: com que frequência ela está errada, sobre a escrita de quem ela está errada com mais frequência, e quanto uma acusação falsa realmente custa a alguém que não fez nada de errado.

Os detectores de IA são precisos?

Não de forma consistente, e a lacuna entre as alegações de marketing e os testes independentes está bem documentada. Um grupo de pesquisadores liderado por Debora Weber-Wulff publicou seus achados sobre 14 ferramentas de detecção, incluindo 12 gratuitas e duas comerciais, que foram testadas contra uma mistura de texto humano e texto do ChatGPT em 2023. Eles constataram que nenhuma dessas ferramentas é precisa ou confiável, com um viés embutido para rotular texto de máquina como humano, em vez do contrário. Duas das ferramentas comerciais incluídas nesse teste foram Turnitin e PlagiarismCheck. Todas as ferramentas nesse teste tiveram desempenho pior quando o texto foi parafraseado.

Mas, dois anos depois, as coisas não estão estagnadas. Um working paper da Booth School da University of Chicago, de Brian Jabarian e Alex Imas, submeteu três recém-chegados, Pangram, GPTZero e Originality.ai, e um concorrente de código aberto a testes rigorosos com quase 2.000 textos escritos por humanos, provenientes de blogs, notícias, resenhas e ficção. Em condições de teste controladas, a melhor ferramenta do conjunto nunca caiu abaixo de 99.8 percent de precisão e manteve sua taxa de falso positivo em um nível baixo. O modelo de código aberto teve desempenho tão bom quanto o de um adivinhador aleatório. As coisas realmente melhoraram. Mais ou menos. Um pouco.

Mas o problema é a palavra controladas. Trechos de benchmark são limpos, completos e produzidos sob condições conhecidas. Um ensaio submetido não é nenhuma dessas coisas de forma confiável. Os resultados no mundo real podem não ser idênticos aos resultados de laboratório, como o próprio chief product officer da Turnitin disse publicamente, embora isso seja uma admissão rara e útil por parte de um fornecedor. A próxima seção coloca os números do fornecedor ao lado dos números independentes, para que a diferença fique visível em vez de apenas afirmada.

Reivindicações do fornecedor versus testes independentes

A tabela abaixo coloca lado a lado o que quatro detectores afirmam sobre si mesmos e o que pesquisadores independentes mediram quando testaram as ferramentas diretamente. Leia as duas colunas centrais em conjunto, não apenas a coluna do fornecedor.

Detector	Precisão alegada pelo fornecedor	Observado independentemente	O que o fornecedor diz sobre falsos positivos
Turnitin	limiar de confiança de 98% antes de sinalizar; menos de 1% de falsos positivos no nível do documento	Cerca de 80% de precisão, o melhor entre 12 ferramentas em uma comparação de 2023, em uma versão anterior da ferramenta	Menos de 1% no nível do documento acima de um limiar de 20% de texto escrito por IA; cerca de 4% no nível da frase
GPTZero	95.7% de detecção de texto de IA com uma taxa de falsos positivos de 1% no benchmark independente RAID	96% de precisão em trechos curtos; taxa de falsos positivos abaixo de 1% em um estudo de 2025 da University of Chicago Booth	Relata uma taxa de falsos positivos de 1% no benchmark RAID
Originality.ai	99% de precisão; taxa de falsos positivos de 0.5% (modelo Lite), 1.5% (modelo Turbo)	Taxa de falsos positivos abaixo de 1%, mas deixou de identificar 10% a 40% do texto escrito por IA no mesmo estudo de Booth	Publica valores separados de falsos positivos por nível de modelo
Pangram	Taxas de erro que afirma serem mais de 38 vezes menores do que as de ferramentas concorrentes; afirma não haver viés contra escritores de inglês não nativos	Precisão nunca inferior a 99.8%, taxa de falsos positivos próxima de zero, no estudo de Booth	Afirma taxas de falsos positivos próximas de zero em 10 domínios de texto e 8 modelos de linguagem

Duas coisas se destacam. Primeiro, todos os números dos fornecedores vêm de um laboratório controlado pelo próprio fornecedor, e os números de Booth vêm de pesquisadores que não têm nada a vender. Segundo, Turnitin não aparece de forma alguma nessa coluna do meio, pois o estudo de 2025 não o testou. Na tabela, seu valor independente se baseia em uma comparação anterior de 2023, mas foi obtido em uma versão mais antiga da ferramenta, então lembre-se disso ao olhar a tabela como uma comparação direta.

Quão precisa é a detecção de IA do Turnitin?

Turnitin não publica um único índice de precisão. Em vez disso, publica um limiar e uma compensação. A empresa afirmou que só sinaliza um documento quando está 98 percent confiante de que a parte sinalizada foi escrita por IA, e que esse limiar é o que mantém a taxa de falso positivo no nível do documento abaixo de 1 percent. Turnitin estimou que identifica cerca de 85 percent da escrita com ajuda de IA, deixando o restante passar deliberadamente em vez de correr o risco de uma acusação incorreta.

O percentual real de falsos positivos que Turnitin retorna no nível da frase, em que uma interface destaca linhas específicas em vez de um documento inteiro, na verdade fica mais próximo de 4 percent. Este é o número que vale a pena conhecer se um professor fizer uma captura de tela de um único parágrafo sinalizado em vez de uma pontuação de documento inteiro, porque uma frase destacada carrega uma chance significativamente maior de estar errada do que a pontuação do documento ao lado dela.

Também vale observar que Turnitin reconheceu diretamente essa lacuna. Eles constataram que seus primeiros resultados no mundo real, especialmente para documentos mais curtos, apresentavam taxas mais altas de falsos positivos do que o esperado com base em seus testes de laboratório. Por isso, ajustaram o comprimento mínimo do documento para ser pontuado de 150 para 300 palavras. Isso mostra um fornecedor ajustando seu próprio produto porque o número publicado não se sustentou fora do laboratório, o que diz tanto quanto qualquer estudo independente.

O que um falso positivo realmente custa a um estudante

Isso aconteceu com um estudante de MBA executivo na School of Management de Yale. O estudante foi acusado de uma violação, no sentido mais literal possível. O detector envolvido era GPTZero. A prova final do estudante em um curso de finanças havia sido sinalizada por um assistente de ensino que achou a redação longa e elaborada, com pontuação e gramática quase perfeitas. E esse professor específico estava submetendo o texto a GPTZero, que classificou as respostas como provavelmente geradas por IA.

Ele foi reprovado na disciplina e suspenso por um ano. Sua ação judicial, protocolada em um tribunal federal em fevereiro de 2025, alega que a própria política de Yale restringe o uso de ferramentas como GPTZero exatamente por esse motivo, sua taxa documentada de falso positivo contra falantes não nativos de inglês, e que ele a utilizou em desacordo com essa política. Sua petição também cita que GPTZero atribuiu uma pontuação de 100 percent de conteúdo gerado por AI a textos acadêmicos do próprio ex-presidente da universidade de Yale e do reitor da escola de negócios.

O juiz recusou-se a conceder uma liminar antecipada em maio de 2025. O caso ainda não foi resolvido, até o momento em que escrevo. O autor, um cidadão francês, alega que o mesmo viés conhecido contra falantes não nativos de inglês fez com que sua escrita apresentasse o desempenho que apresentou. É isso que examinamos na próxima seção. O que não está em debate é o custo: um ano perdido em um programa de graduação, uma nota de reprovação, despesas legais e vários meses lutando por uma pontuação em vez de obter um diploma. Uma taxa de falso positivo de 1 percent parece pequena até que uma população grande a torne algo específico.

Por que os detectores de AI classificam erroneamente falantes não nativos de inglês?

De forma ruim, e por ampla margem. Essa é a conclusão do estudo que primeiro quantificou o problema. Pesquisadores de Stanford testaram sete detectores de GPT amplamente usados contra 91 redações do TOEFL escritas por falantes não nativos de inglês e 88 redações de alunos do oitavo ano nos EUA. Os detectores classificaram corretamente as redações do oitavo ano quase sempre. Quando se tratou das redações do TOEFL, escritas por adultos fluentes o suficiente para fazer um teste de inglês de nível de pós-graduação, os detectores registraram, em média, uma taxa de falso positivo de 61.3 percent. Oitenta e nove das 91 redações foram sinalizadas como tendo sido geradas por GPT por pelo menos um dos sete detectores, 18 dessas redações foram sinalizadas pelos sete detectores.

O mecanismo é o mesmo que governa o restante da detecção: vocabulário previsível e construção de frases mais simples são lidos como baixa perplexidade, e baixa perplexidade é lida como algo produzido por máquina, independentemente de quem esteja segurando a caneta. Escritores que trabalham em uma segunda língua recorrem a formulações bem estabelecidas porque é assim que a fluência em um idioma adicional realmente se parece, e esse é precisamente o perfil que um detector foi criado para sinalizar.

Escritores nessa posição não são bem atendidos por conselhos para simplesmente escrever de modo mais natural, já que natural é exatamente o que foi sinalizado. A página da TextPulse para escritores acadêmicos de ESL aborda com mais profundidade os padrões de formulação por trás desse risco, incluindo o que os altera sem mudar o significado da frase.

Este não foi um caso isolado. Em dezembro de 2025, foi lançado um novo benchmark, explicitamente projetado para avaliar viés nesses detectores. Ele incluiu mais de 200,000 amostras em múltiplos grupos demográficos e idiomas. Apesar de ter sido publicado dois anos depois do primeiro estudo de Stanford e de incluir muitas versões diferentes de modelo dos mesmos detectores, esse benchmark revelou que o viés contra aprendizes de inglês ainda está presente.

Isso não ocorre com todos os fornecedores. A própria documentação técnica da Pangram afirma que seu classificador não é tendencioso contra falantes não nativos de inglês. Os pesquisadores da Chicago Booth não testaram essa afirmação de forma independente, mas isso mostra que a geração mais recente de detectores está sendo construída com o problema em mente, em vez de ignorá-lo.

Se você quiser ver em que ponto sua própria escrita se encontra antes que outra pessoa a avalie, um verificador gratuito de perplexidade fornece o mesmo número subjacente que um detector calcularia, sem enviar nada a uma instituição primeiro.

Quem mais é sinalizado, e por quê

Falantes de inglês não nativos carregam o maior risco documentado, mas a mesma lógica estatística também alcança outros textos. A equipe de Weber-Wulff constatou que todas as 14 ferramentas que testaram foram menos precisas quando as aplicaram a textos parafraseados, o que descreve uma parcela significativa da escrita acadêmica que passou por um revisor, um editor ou pela caneta vermelha de um orientador antes que alguém executasse um detector sobre ela.

Nada disso significa que o número seja sem sentido, apenas que ele precisa de corroboração antes de significar qualquer coisa sobre uma pessoa específica. Se você tem um texto que soa uniforme, com comprimentos de frase semelhantes e ritmo semelhante ao longo de todo o texto, ele receberá uma pontuação mais parecida com a de uma máquina, independentemente de quem o escreveu ou por quê. Isso pode ser verificado diretamente com um free burstiness checker, em vez de ser apenas अनुमानado.

Como é uma política defensável de detecção de IA

Yale já tinha uma política que, segundo relatos, restringe ferramentas como GPTZero, por razões muito próximas às que este artigo expôs: uma taxa documentada de falso positivo e um viés documentado contra escritores que não são falantes nativos de inglês. Portanto, esta não é tanto uma história de um estudante azarado, mas sim de uma regra existente que não foi seguida. Quando uma política realmente faz valer a diferença entre uma pontuação e um veredito, então a pontuação passa a ser uma informação entre outras, e não um veredito.

• Trate a pontuação como uma informação entre outras, nunca como a única base para uma constatação de má conduta
• Divulgue aos estudantes a taxa de falso positivo publicada da ferramenta antes de usá-la contra eles
• Aplique cautela extra a submissões curtas e à escrita em inglês de falantes não nativos, ambos pontos fracos documentados
• Garanta uma via de recurso que não exija refutar uma estatística

Nada disso é exótico. Está mais próximo de como qualquer peça isolada de evidência forense deveria ser tratada em qualquer outro contexto: útil, verificável e nunca suficiente por si só.

Para um escritor individual, o mesmo princípio se aplica antes de existir uma pontuação, e não depois. Um único número, de qualquer ferramenta, é uma estimativa, e não um veredito, e tratá-lo como certeza em qualquer direção, seguro ou pego, exige do número mais do que ele pode sustentar.

A própria ferramenta de humanização de IA do TextPulse informa uma Pontuação Humana com base na mesma lógica: uma estimativa calculada a partir do seu próprio texto, não um veredito de um detector sobre ele, útil como um sinal de como um rascunho está sendo lido no momento, e não como uma promessa sobre o que qualquer detector específico dirá.

A questão da precisão se divide em questões mais restritas, cada uma com sua própria página. A taxa com que os detectores sinalizam escrita humana é tratada separadamente, assim como as evidências específicas sobre a taxa de falso positivo do Turnitin e sobre a precisão do ZeroGPT. Se uma pontuação já foi usada contra você, há textos práticos sobre o que fazer quando você é acusado de usar IA, sobre as evidências que você pode reunir para provar que não usou IA, e sobre como escrever uma carta de apelação que responda à pontuação em seus próprios termos.

O número em qualquer relatório continuará mudando à medida que os fornecedores retreinam seus modelos e os pesquisadores continuam a testá-los em casos mais difíceis. Mas o que não deve mudar é o hábito por trás disso: ler uma pontuação como uma medida entre várias, perguntar em que população ela foi validada e perguntar o que o fornecedor não está dizendo sobre os casos em que ainda erra.