Por que o texto de IA é detectado? As razões reais

Se você pedir a um modelo de linguagem que complete a frase "The weather today is," ele não tentará escolher uma cor como "cerulean" ou "apocalyptic." Em vez disso, tentará dizer "sunny," "cloudy," ou "nice," porque essas foram as palavras que mais frequentemente vieram depois dessa expressão em tudo o que ele foi treinado. O software que escolhe a próxima palavra em uma frase foi projetado para favorecer exatamente esse tipo de resposta.

Por que o texto de IA é detectado? Porque a mesma preferência que escolhe 'sunny' em vez de 'cerulean' percorre um documento inteiro, palavra após palavra, e o resultado fica em uma faixa mais estreita de escrita possível do que aquela que uma pessoa realmente ocupa. Um detector não precisa flagrar uma mentira. Ele só precisa notar que uma passagem continua caindo nessa faixa estreita.

Nada do que vem a seguir precisa de uma fórmula. A mecânica está em uma única ideia, repetida em três escalas diferentes, escolha de palavras, forma da frase e o detalhe específico que um escritor alcança sem pensar nisso. Cada uma dessas escalas alimenta a questão mais ampla de como os detectores de IA realmente funcionam, e cada uma é mais fácil de ver quando a causa raiz é nomeada.

Por que o texto de IA é detectado? A resposta curta

O texto de IA é detectado porque o processo de decodificação que transforma as previsões de um modelo em frases concluídas é construído para favorecer palavras prováveis em cada etapa, e fazer isso de modo consistente, por milhares de palavras em sequência, produz uma escrita que ocupa uma faixa mais estreita da linguagem do que um ser humano normalmente ocupa. Uma ferramenta estatística pode encontrar essa estreiteza mesmo quando cada frase é gramaticalmente perfeita e factualmente correta.

Três sintomas decorrem dessa única causa. O vocabulário se estreita em direção à palavra comum mais segura. A estrutura das frases se estreita em direção a um punhado de formas preferidas. E a escolha específica, um pouco improvável, que uma pessoa faz quase por reflexo, a palavra incomum, a observação lateral, o detalhe que não custa nada incluir e tudo para prever, tende a não aparecer de modo algum.

Como um modelo de linguagem escolhe sua próxima palavra

Deixado a si mesmo, um modelo de linguagem simplesmente apresentaria sua lista completa classificada de possíveis próximas palavras e deixaria que outra coisa escolhesse. Na prática, uma estratégia de decodificação faz essa escolha automaticamente, palavra após palavra, e a estratégia em execução altera a aparência da saída mesmo quando o modelo subjacente nunca muda.

A decodificação gulosa sempre seleciona a única palavra com maior probabilidade. No artigo que introduziu a amostragem nucleus como uma correção, Ari Holtzman e coautores observaram que seguir essa estratégia leva a um texto que é, em suas próprias palavras, "sem graça e estranhamente repetitivo." A busca em feixe, que acompanha várias continuações prováveis ao mesmo tempo antes de se fixar em uma, encontra uma versão semelhante do mesmo problema.

As estratégias de amostragem reintroduzem alguma aleatoriedade, mas de modo controlado. A temperatura ajusta quão fortemente o modelo favorece suas próprias principais escolhas antes de uma palavra ser sorteada. A amostragem nucleus, às vezes chamada de top-p, trunca a distribuição ao menor conjunto de palavras cuja probabilidade combinada ultrapassa um limiar e sorteia apenas desse conjunto, descrito no artigo original como amostragem de um núcleo dinâmico da distribuição, em vez de sua cauda pouco confiável.

Mesmo a configuração menos determinística ainda sorteia de uma lista restrita construída em torno do que o modelo já considera provável. A escrita humana nunca foi gerada por classificar um vocabulário e sortear a partir do topo dele, então ela ultrapassa constantemente essa lista restrita. O significado às vezes vive na palavra que nunca esteve na lista.

Planicidade do vocabulário: menos palavras, mais seguras

A planicidade do vocabulário é a versão, no nível da palavra, do mesmo hábito. Em cada ponto de uma frase, dezenas de palavras poderiam plausivelmente continuá-la, mas algumas poucas ficam muito acima do restante na classificação do modelo, e a decodificação continua recaindo sobre esse pequeno grupo. Multiplique essa escolha por cada frase de um documento e a variedade de palavras de fato usadas se estreita de modo mensurável em comparação com uma escrita humana de comprimento semelhante.

O efeito se acumula, em vez de permanecer constante. Um modelo que busca a palavra mais bem classificada na primeira frase tem mais probabilidade de estabelecer um contexto em que a palavra mais bem classificada na segunda frase também seja comum, porque palavras comuns tendem a seguir palavras comuns. Um escritor humano interrompe esse desvio constantemente, buscando o termo técnico específico, o verbo ligeiramente incomum, a palavra que nomeia a coisa real em vez de uma aproximação segura dela. Essa diferença aparece como um vocabulário de trabalho mensuravelmente menor na versão gerada, mesmo quando ambas as versões descrevem os mesmos fatos subjacentes.

Essa é uma propriedade de toda a passagem, não de qualquer escolha isolada de palavra. Uma palavra segura não prova nada. Uma página delas, frase após frase buscando o mesmo nível de vocabulário comum, é o que um sinal de nível de palavra de um detector foi de fato construído para notar.

Uniformidade Sintática: As Mesmas Estruturas, Repetidas

A uniformidade sintática é a versão em nível de frase. Não se trata de quão longa uma frase se estende. Trata-se de quantas estruturas gramaticais distintas uma passagem usa: como as frases se abrem, como as orações se ligam umas às outras, com que frequência uma palavra de transição faz o trabalho de conectar uma ideia à seguinte. Um modelo que continua prevendo a estrutura seguinte estatisticamente provável se acomoda em uma pequena rotação de estruturas e a repete.

Um parágrafo pode variar o comprimento de suas frases e ainda assim soar sintaticamente plano se cada frase seguir a mesma estrutura sujeito-verbo-complemento, começar com o mesmo tipo de transição ou se resolver da mesma maneira. A previsibilidade está no padrão, não na contagem de palavras, uma distinção tratada com mais profundidade no guia sobre o que burstiness realmente mede.

O que estreita	O que o texto otimizado para decodificação tende a fazer	O que a escrita humana tende a fazer
Escolha de palavras	Opta pela palavra comum mais provável em cada etapa	Busca a palavra específica ou menos comum que nomeia a coisa real
Abertura da frase	Repete uma pequena rotação de aberturas transitórias seguras	Varia a forma como uma frase começa, incluindo aberturas que um modelo classificaria como menos prováveis
Estrutura da oração	Repete uma ou duas formas gramaticais preferidas ao longo de uma passagem	Mistura estruturas simples e complexas conforme o que uma frase precisa

As escolhas que só um ser humano tende a fazer

O outro lado de uma faixa estreita é o que fica fora dela. Uma pessoa que descreve eventos reais busca a figura exata em vez de uma arredondada, admite a parte que não funcionou, interrompe uma frase para corrigi-la no meio do pensamento, ou escolhe uma palavra que é correta em vez de típica. Cada uma dessas escolhas é, do ponto de vista de um modelo de linguagem, um token de baixa probabilidade, exatamente o tipo de coisa que a decodificação foi construída para evitar.

Nada disso significa que uma escrita específica ou incomum esteja a salvo de toda marcação, ou que uma escrita fluente e correta seja suspeita por padrão. Uma seção de métodos, uma cláusula jurídica, ou um rascunho final muito editado podem cair em uma faixa estreita por razões que não têm nada a ver com um modelo, e é por isso que uma única pontuação é uma descrição de um padrão, e não um veredito sobre quem o digitou.

Ver onde o seu próprio rascunho se situa nessa faixa é mais útil do que adivinhar. O verificador gratuito de perplexidade e o verificador de burstiness do TextPulse medem separadamente a previsibilidade no nível da palavra e o ritmo de uma frase para outra, de modo que um vocabulário plano e uma estrutura de frase repetida apareçam como dois sinais diferentes, em vez de um único número combinado.

Duas páginas mais específicas decorrem disso. Como Turnitin detecta IA especificamente é uma delas, e a diferença entre sua pontuação de similaridade e sua pontuação de IA é a outra, pois as duas são rotineiramente confundidas entre si.

Ambas se inserem na mais ampla coleção de ferramentas gratuitas, para qualquer pessoa que queira ver o padrão por si mesma, em vez de confiar cegamente em um único número.