¿Por qué se detecta el texto de IA? Las razones reales

Si se pide a un modelo de lenguaje que complete la frase "The weather today is," no intentará elegir un color como "cerulean" o "apocalyptic." En su lugar, intentará decir "sunny," "cloudy," o "nice," porque esas fueron las palabras que aparecieron después de esa frase con mayor frecuencia en lo que sea que se usó para entrenarlo. El software que elige la siguiente palabra en una frase ha sido diseñado para favorecer precisamente este tipo de respuesta.

¿Por qué se detecta el texto de IA? Porque la misma preferencia que elige 'sunny' frente a 'cerulean' recorre todo un documento, palabra tras palabra, y el resultado se sitúa en una franja más estrecha de escritura posible que la que ocupa realmente una persona. Un detector no necesita captar una mentira. Solo necesita advertir que un pasaje sigue cayendo en esa franja estrecha.

Nada de lo que sigue necesita una fórmula. La mecánica reside en una sola idea, repetida en tres escalas distintas, elección de palabras, forma de la oración y el detalle específico al que un autor recurre sin pensar en ello. Cada una de esas escalas alimenta la cuestión más amplia de how AI detectors actually work, y cada una es más fácil de ver una vez que se nombra la causa raíz.

¿Por qué se detecta el texto de IA? La respuesta breve

El texto de IA se detecta porque el proceso de decodificación que convierte las predicciones de un modelo en oraciones terminadas está construido para favorecer las palabras probables en cada paso, y hacer eso de manera constante, durante miles de palabras seguidas, produce una escritura que ocupa una franja más estrecha del lenguaje de la que suele ocupar un ser humano. Una herramienta estadística puede encontrar esa estrechez incluso cuando cada oración es gramaticalmente perfecta y factualmente correcta.

De esa única causa se derivan tres síntomas. El vocabulario se estrecha hacia la palabra común más segura. La estructura de las oraciones se estrecha hacia un puñado de formas preferidas. Y la elección específica, ligeramente improbable, que una persona hace casi por reflejo, la palabra extraña, la observación al margen, el detalle que no cuesta nada incluir y todo cuesta predecir, tiende a no aparecer en absoluto.

Cómo un modelo de lenguaje elige su siguiente palabra

Dejarlo a sí mismo, un modelo de lenguaje simplemente informaría su lista completa ordenada de posibles palabras siguientes y dejaría que otra cosa eligiera. En la práctica, una estrategia de decodificación realiza esa elección automáticamente, palabra tras palabra, y la estrategia que está en funcionamiento cambia el aspecto de la salida incluso cuando el modelo subyacente nunca cambia.

La decodificación codiciosa selecciona siempre la única palabra con mayor probabilidad. En el artículo que introdujo el muestreo de núcleo como solución, Ari Holtzman y coautores observaron que seguir esta estrategia conduce a un texto que, en sus propias palabras, es 'insípido y extrañamente repetitivo'. La búsqueda en haz, que sigue varias continuaciones probables a la vez antes de decidirse por una, encuentra una versión similar del mismo problema.

Las estrategias de muestreo reintroducen cierta aleatoriedad, pero de forma controlada. La temperatura ajusta con qué nitidez el modelo favorece sus propias opciones principales antes de extraer una palabra. El muestreo de núcleo, a veces llamado top-p, trunca la distribución al conjunto más pequeño de palabras cuya probabilidad combinada supera un umbral y extrae solo de ese conjunto, descrito en el artículo original como muestrear a partir de un núcleo dinámico de la distribución en lugar de su cola poco fiable.

Incluso la configuración menos determinista de estas sigue extrayendo de una lista reducida construida en torno a lo que el modelo ya considera probable. La escritura humana nunca se generó clasificando un vocabulario y extrayendo de la parte superior de esa clasificación, así que se aparta constantemente de esa lista reducida. El significado a veces vive en la palabra que nunca estuvo en la lista.

Planitud del vocabulario: menos palabras, más seguras

La planitud del vocabulario es la versión a nivel de palabra del mismo hábito. En cada punto de una oración, decenas de palabras podrían continuarla de manera plausible, pero unas pocas se sitúan muy por encima del resto en la clasificación del modelo, y la decodificación sigue cayendo en esas pocas. Multiplique esa elección por cada oración de un documento y el rango de palabras realmente utilizadas se estrecha de forma medible en comparación con una escritura humana de longitud similar.

El efecto se acumula en lugar de mantenerse constante. Un modelo que recurre a la palabra mejor clasificada en la oración uno tiene más probabilidades de establecer un contexto en el que la palabra mejor clasificada en la oración dos también sea común, porque las palabras comunes tienden a seguir a las palabras comunes. Un escritor humano interrumpe constantemente esa deriva, recurriendo al término técnico específico, al verbo ligeramente inusual, a la palabra que nombra la cosa real en lugar de una aproximación segura de ella. Esa diferencia aparece como un vocabulario de trabajo mediblemente menor en la versión generada, incluso cuando ambas versiones describen los mismos hechos subyacentes.

Esta es una propiedad de todo el pasaje, no de una sola elección de palabra. Una palabra segura no prueba nada. Una página de ellas, con oración tras oración recurriendo al mismo rango de vocabulario común, es lo que una señal a nivel de palabra de un detector está realmente construida para notar.

Uniformidad sintáctica: las mismas formas, repetidas

La uniformidad sintáctica es la versión a nivel de oración. No se trata de cuánto se extiende una oración. Se trata de cuántas formas gramaticales distintas utiliza un pasaje: cómo se abren las oraciones, cómo se enlazan las cláusulas entre sí, con qué frecuencia una palabra de transición hace el trabajo de conectar una idea con la siguiente. Un modelo que sigue prediciendo la estructura siguiente estadísticamente probable se asienta en una pequeña rotación de formas y la repite.

Un párrafo puede variar la longitud de sus oraciones y seguir leyendo como sintácticamente plano si cada oración sigue la misma forma sujeto verbo complemento, se abre con el mismo tipo de transición o se resuelve del mismo modo. La previsibilidad reside en el patrón, no en el número de palabras, una distinción que se trata con más detalle en la guía sobre qué mide realmente burstiness.

Qué estrecha	Qué tiende a hacer el texto optimizado para la decodificación	Qué tiende a hacer la escritura humana
Elección de palabras	Se decide por la palabra común más probable en cada paso	Recurre a la palabra específica o menos común que nombra la cosa real
Apertura de la oración	Repite una pequeña rotación de aperturas transicionales seguras	Varía cómo empieza una oración, incluidas aperturas que un modelo clasificaría como menos probables
Estructura de la cláusula	Repite una o dos formas gramaticales preferidas a lo largo de un pasaje	Mezcla estructuras simples y complejas según lo que una oración necesita

Las elecciones que solo un ser humano tiende a hacer

La otra cara de una banda estrecha es lo que queda fuera de ella. Una persona que describe hechos reales recurre a la cifra exacta en lugar de una redonda, admite la parte que no funcionó, interrumpe una oración para corregirla a mitad de pensamiento, o elige una palabra que es correcta en lugar de típica. Cada una de esas elecciones es, desde el punto de vista de un modelo de lenguaje, un token de baja probabilidad, exactamente el tipo de cosa que la decodificación está diseñada para evitar.

Nada de esto significa que la escritura específica o inusual esté a salvo de toda marca, ni que la escritura fluida y correcta sea sospechosa por defecto. Una sección de métodos, una cláusula legal o un borrador final muy editado pueden situarse en una banda estrecha por razones que no tienen nada que ver con un modelo, y por eso una sola puntuación es una descripción de un patrón, no un veredicto sobre quién lo escribió.

Ver dónde se sitúa su propio borrador en esa banda es más útil que adivinar. El comprobador gratuito de perplexity y el comprobador de burstiness de TextPulse miden por separado la predictibilidad a nivel de palabra y el ritmo de una oración a la siguiente, de modo que un vocabulario plano y una estructura de oración repetida aparecen como dos señales distintas en lugar de un solo número mezclado.

De esto se desprenden dos páginas más específicas. Cómo Turnitin detecta la IA específicamente es una, y la diferencia entre su puntuación de similitud y su puntuación de IA es la otra, ya que ambas se confunden con frecuencia.

Ambas forman parte de la más amplia colección de herramientas gratuitas, para cualquiera que quiera ver el patrón por sí mismo en lugar de confiar ciegamente en un solo número.