Turnitin Similarity Score vs AI Score: Dois Relatórios Diferentes

Um relatório chega com dois números nele: uma pontuação de similaridade de 3 por cento e uma pontuação de IA de 88 por cento. A leitura natural é que eles devem estar medindo a mesma coisa, então o número baixo deveria significar que o número alto provavelmente também está errado. Não funciona assim. Turnitin similarity vs AI score é uma comparação entre dois sistemas separados que verificam duas coisas separadas, e uma submissão pode ter pontuação baixa em um e alta no outro sem que nenhum dos números seja um erro.

É mais antigo do que o de IA, criado para detectar texto que corresponda a algo que já existe. É mais recente, acrescentado ao mesmo Similarity Report como sua própria medição independente, criado para estimar se a prosa soa como gerada por máquina, independentemente de corresponder ou não a qualquer coisa. Eles são completamente independentes e não influenciam um ao outro, de acordo com a própria documentação da Turnitin. Todo o restante neste texto.

Turnitin Similarity vs AI Score: O que cada número informa

Turnitin trata os dois como medições diferentes reunidas em um único produto, e não como duas visões de um único resultado. O Similarity Report compara uma submissão com um banco de dados de conteúdo da web, publicações acadêmicas e trabalhos de estudantes enviados anteriormente, e retorna a porcentagem do texto da submissão que corresponde a algo já presente nesse banco de dados. A detecção de escrita por IA executa um modelo completamente diferente, acrescentado a esse mesmo relatório como sua própria pontuação independente, treinado para julgar o quanto a prosa de uma passagem se assemelha à escrita gerada por máquina, sem qualquer referência a um banco de dados externo. A mecânica mais completa de como o classificador de IA da Turnitin chega a esse número é tratada separadamente, o que importa aqui é que ele responde a uma pergunta diferente da do mecanismo de similaridade que está dentro do mesmo relatório.

O que a pontuação de similaridade realmente mede

Semelhança é um exercício de correspondência, não um julgamento. A própria orientação da Turnitin é explícita ao afirmar que a ferramenta não verifica plágio. Ela verifica sobreposição e deixa a interpretação a cargo do docente que lê o relatório. Uma citação corretamente destacada, uma frase de seção de métodos compartilhada por todo um subcampo, uma lista de referências formatada do mesmo modo que todos os artigos da revista formatam sua lista de referências: tudo isso pode ser registrado como correspondência, porque o sistema conta sequências de texto sobrepostas em vez de julgar se a sobreposição é legítima.

É também por isso que uma pontuação de semelhança igual a zero prova menos do que parece. Ela significa que a submissão não contém nenhum trecho longo e contínuo de texto encontrado em outras fontes indexadas pela Turnitin. Ela não diz nada sobre como as frases que estão ali foram produzidas, porque produzir uma frase que não corresponda a nada em um banco de dados não é a mesma habilidade que produzir uma frase que um modelo de linguagem não teria previsto.

O que a pontuação de IA realmente mede

A pontuação de IA não tem um banco de dados contra o qual verificar. Um classificador lê a prosa submetida e estima, a partir de padrões que aprendeu em exemplos de escrita humana e gerada por IA, quão provável é que essa prosa tenha vindo de um modelo em vez de uma pessoa. Nada nessa estimativa depende de a frase exata já ter aparecido em algum lugar antes. Uma frase pode ser inteiramente única, nunca digitada por ninguém até esta submissão, e ainda assim ser lida como estatisticamente típica de saída de IA se suas escolhas de palavras e seu ritmo seguirem o padrão que um modelo de linguagem tende a produzir.

Este é o mesmo território estatístico coberto integralmente no relato mais amplo de como os detectores de IA realmente funcionam: previsibilidade em nível de palavra e ritmo em nível de frase, reunidos em uma única pontuação do documento. A versão da Turnitin desse classificador é proprietária, mas a premissa subjacente, de que o texto gerado tende a ser mais estatisticamente típico do que a escrita humana, é a mesma que opera por baixo de toda ferramenta dessa categoria.

	Similarity Score	AI Score
O que mede	Quanto do texto da submissão corresponde a outros documentos indexados	Quão de perto a prosa se assemelha à escrita gerada por AI estatisticamente típica
O que aciona um número alto	Citações longas, formulações comuns específicas da área, material reutilizado ou uma correspondência com uma submissão anterior	Ritmo uniforme das frases e escolhas de palavras consistentemente previsíveis ao longo do documento
O que um número alto não prova	Que o texto correspondente foi usado de forma inadequada. Material citado corretamente ainda pode ser registrado como correspondência.	Que qualquer frase isolada foi gerada por AI. O classificador lê o padrão geral do documento, não uma linha em isolamento.

Um artigo pode ter 0 Percent Similarity e um AI Score de 90 Percent?

Sim, e a combinação não é uma falha. As duas pontuações respondem a perguntas diferentes, portanto todas as quatro combinações de alto e baixo são possíveis, e cada uma implica algo diferente sobre como o texto foi produzido.

• Baixa similaridade, baixo AI score: escrita original comum que também apresenta a variação humana típica na leitura. O caso mais comum na maior parte do trabalho genuíno de estudantes.
• Baixa similaridade, alto AI score: frases originais, não copiadas de lugar nenhum, que soam estatisticamente previsíveis, da maneira como o texto gerado tende a soar. A assinatura de escrita de AI não editada, que ninguém parafraseou a partir de uma fonte existente.
• Alta similaridade, baixo AI score: texto que corresponde de perto a uma fonte existente escrita por humano, sem a planura estatística que um classificador associa à geração. Texto copiado, detectado pela ferramenta mais antiga e não pela mais nova.
• Alta similaridade, alto AI score: texto que corresponde a uma fonte existente que, por sua vez, foi gerada por AI, por exemplo, um artigo escrito por AI submetido anteriormente ou uma página de texto produzida por AI já indexada da web aberta.

Nenhuma dessas combinações exige algo incomum do lado do software. Elas decorrem do fato de que um sistema verifica se há correspondência e o outro verifica se há um padrão, e um trecho de texto pode apresentar qualquer uma dessas propriedades, ambas ou nenhuma.

O que uma pontuação alta de IA prova, e o que não prova

Uma pontuação alta de IA é uma estimativa estatística, não uma confissão extraída do texto. Ela diz que a prosa diante do classificador se assemelha, em suas escolhas de palavras e ritmo, ao tipo de escrita que o modelo foi treinado para associar à geração por IA. Ela não identifica uma frase específica como definitivamente escrita por máquina, e não sabe nada sobre como o documento foi realmente produzido, apenas sobre como ele se lê depois de concluído. TextPulse adota a mesma posição em relação aos seus próprios números: o que ele informa é uma Pontuação Humana estimada, calculada a partir do texto diante dele, não um veredito sobre qual ferramenta, se alguma, tocou o documento.

A resposta prática a qualquer um dos números, uma pontuação baixa de similaridade ou uma pontuação alta de IA, é a mesma: tratá-lo como um motivo para examinar mais de perto, não como uma constatação a ser aceita ou descartada de imediato. Rascunhos, notas e histórico de versões mostram como um documento foi realmente escrito de um modo que uma porcentagem nunca consegue, em qualquer um dos relatórios. Quem tiver curiosidade sobre o que um classificador está realmente detectando em seu próprio rascunho pode ver o mesmo padrão no nível das palavras por si mesmo com um verificador de perplexidade gratuito, muito antes de qualquer relatório ser gerado.

A coleção de ferramentas gratuitas de TextPulse cobre as outras camadas estatísticas que vale a pena verificar antes que um rascunho chegue perto de um instrutor, não apenas as duas comparadas aqui.

Depois que os dois números são separados, a próxima pergunta é o que conta como uma boa pontuação de Turnitin. Para o outro detector com o qual os estudantes mais frequentemente se deparam, como GPTZero funciona é abordado em sua própria página.

Os dois números continuarão aparecendo lado a lado no mesmo relatório, e continuarão sendo lidos como um único número por pessoas com pressa. Saber qual pergunta cada um está realmente respondendo é o que transforma um par confuso de porcentagens em duas informações separadas e úteis.