O ZeroGPT é preciso?

A precisão do ZeroGPT, segundo a própria alegação atual da empresa, é uma taxa "pushing toward >98% on internal evaluations", um valor que a empresa reconhece que vem de testes que ela mesma realizou, e não de um laboratório externo. Esse único qualificativo, internal, é em grande parte o que um leitor precisa antes de tratar qualquer porcentagem de um detector gratuito como fato estabelecido.

ZeroGPT é um dos detectores de IA gratuitos mais usados, em grande parte porque não custa nada e fornece uma resposta em segundos. A mesma lacuna entre as alegações do fornecedor e os testes independentes que aparece de modo geral nos detectores de IA aparece aqui também. O que segue é o que a empresa afirma atualmente sobre sua própria precisão e método, o que esse método parece de fato medir, e por que uma ferramenta como essa tende a falhar de maneiras específicas e previsíveis no tipo de texto que leitores acadêmicos submetem.

O Que É a Precisão do ZeroGPT, Segundo a Empresa?

O próprio FAQ do ZeroGPT afirma que a empresa "delivers industry-leading accuracy and is continuously improved to maintain best-in-class performance, pushing toward >98% on internal evaluations." Trata-se de uma alegação do fornecedor sobre seu próprio produto, testado pela própria empresa, formulada com uma cautela real incorporada à redação: "pushing toward" um número não é a mesma afirmação que alcançá-lo e mantê-lo, e "internal evaluations" significa que nenhuma parte externa publicou um valor correspondente. Nada na página informa quão grande foi esse conjunto de testes interno, o que ele continha, ou quem, fora da empresa, revisou a metodologia.

A empresa recomenda pelo menos 150 a 200 palavras de texto para um resultado estável, com 500 a 1,000 palavras ou mais melhorando ainda mais a confiabilidade, e afirma diretamente que trechos muito curtos ou fortemente editados "carry fewer signals." Essa única divulgação importa mais do que a porcentagem destacada no título. Trata-se do próprio reconhecimento do fornecedor de que a pontuação é tão confiável quanto o texto de entrada é longo e intocado, uma condição que uma submissão real nem sempre atende.

Que Método o ZeroGPT Está Realmente Usando?

ZeroGPT chama seu sistema subjacente de DeepAnalyse, descrito em seu próprio site como uma "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives" que lê um texto "from the macro level to the micro one." Sua FAQ descreve algo mais específico por trás da marca: uma análise de "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets."

Burstiness e entropy não são exclusivas do ZeroGPT. Elas são as mesmas propriedades estatísticas, o quanto o comprimento e o ritmo das frases variam, e o quão previsível é cada próxima palavra, que o próprio explicador do TextPulse sobre como os detectores de IA funcionam aborda como o mecanismo geral por trás de toda essa categoria de ferramenta. Um verificador gratuito de perplexity mostra diretamente esse mesmo número subjacente, sem pedir que o autor confie primeiro na porcentagem de qualquer fornecedor.

Por Que a Escrita Acadêmica Faz Esses Detectores Falharem?

A FAQ do ZeroGPT coloca assim: "highly polished, formulaic, or low-entropy writing can resemble AI." A prosa acadêmica é concebida para uma escrita altamente polida, formulaica e de baixa entropy. Uma seção de métodos, uma revisão de literatura e uma carta de apresentação formal todos favorecem a expressão convencional em vez da inventiva, porque a convenção é o que torna o documento utilizável para seu leitor em primeiro lugar, e essa convenção é precisamente o padrão de baixa entropy que a própria divulgação do fornecedor identifica como um risco.

Testes independentes e revisados por pares mostram por que esse modo de falha afeta alguns escritores com mais força do que outros. Um estudo de Stanford de 2023 executou sete detectores amplamente usados, entre eles ZeroGPT, contra 91 redações reais do TOEFL escritas por falantes não nativos de inglês e 88 redações escritas por alunos do oitavo ano nos EUA. ZeroGPT sinalizou 48 por cento das redações do TOEFL como geradas por IA, contra 0 por cento das redações do oitavo ano, a mesma direção de erro que todos os detectores desse estudo mostraram, apenas em escala diferente.

Nada nessa diferença é exclusivo de ZeroGPT, e nada nisso é informação nova. É o mesmo padrão de viés contra escritores não nativos documentado em todo o setor de detectores, tratado com mais profundidade na própria página da TextPulse sobre por que os detectores de IA são tendenciosos contra falantes não nativos. O que a diferença mostra especificamente sobre uma ferramenta gratuita para consumidores é que a própria limitação divulgada pelo fornecedor, escrita de baixa entropia parece produzida por máquina, não é hipotética. Um teste revisado por pares constatou que isso acontecia nesse produto exato anos antes de a FAQ atual da empresa nomear o mecanismo com suas próprias palavras.

Um escore de detector gratuito pode provar algo sobre um único documento?

Não, por si só. Uma porcentagem do ZeroGPT não é prova de nada sobre um documento específico, em nenhuma direção. É a estimativa de um modelo, construída com base em testes internos que a empresa não publicou em uma forma que qualquer pessoa fora da empresa possa verificar, aplicada a uma escrita cujo comprimento, histórico de edição e gênero alteram a leitura de maneiras que a própria FAQ do fornecedor já reconhece. Tratar um único escore gratuito como um veredito exige desse escore mais do que a empresa que o emite afirma para ele.

Para que uma pontuação seja genuinamente útil, seu alcance é mais restrito e mais prosaico: uma leitura rápida, sem custo, de onde um rascunho se encontra naquele mesmo tipo de medição estatística que uma ferramenta institucional paga também executa, antes que qualquer outra pessoa o veja. As ferramentas gratuitas do TextPulse cobrem esse mesmo terreno diretamente, sem pedir que o autor adivinhe em qual das pontuações de vários detectores gratuitos confiar primeiro.

Os números de precisão ocultam sobre quem recaem os erros e o que os desencadeia. Saber quando usar a, an e the remove um dos padrões que aciona um sinalizador, e o que uma taxa de falso positivo realmente significa é apresentado separadamente.

Nada disso torna o número do ZeroGPT sem sentido, e nada disso torna o número suficiente por si só. Uma pontuação é uma estimativa inicial, produzida por um método que a empresa descreve apenas em linhas gerais e não abriu para testes externos, sobre uma escrita cujo gênero, por si só, pode alterar o resultado antes que qualquer pessoa envolvida tenha feito algo errado. As duas palavras que carregam mais informação naquela página de FAQ não são a porcentagem. São as ressalvas logo ao lado dela: interno, e tendendo a. Uma pontuação gratuita é um ponto de partida para uma conversa sobre um rascunho, não um argumento final nela.

O que a nossa própria pesquisa encontrou

No estudo de concordância entre detectores da TextPulse Research, nove detectores comerciais de IA avaliaram os mesmos 90 textos acadêmicos. Um deles era um texto híbrido de 455 palavras: abertura e fechamento escritos por humanos em torno de um trecho central de 168 palavras gerado por IA. ZeroGPT pontuou este texto com 7.6% de IA, enquanto os veredictos das outras ferramentas sobre as mesmas palavras variaram de 0% a 95.7% de IA. O artigo completo, o corpus e a matriz de pontuações por ferramenta estão em acesso aberto em TextPulse Research.