¿Qué es la perplejidad en la detección de AI?

Busque perplexity y detección de IA juntos, y varios de los primeros resultados terminan siendo sobre un producto no relacionado: un motor de búsqueda impulsado por IA que también se llama Perplexity. La métrica que realmente informa un detector no comparte nada con esa empresa salvo la palabra. Procede de la investigación en reconocimiento del habla de décadas anteriores a GPTZero o al motor de búsqueda, y mide algo más limitado que cualquiera de los dos: cuán sorprendido está un modelo de lenguaje por las palabras que ya aparecen en la página.

Entonces, ¿qué es la perplexity en la detección de IA? La perplexity es una puntuación que describe qué tan bien un modelo de lenguaje predijo las palabras exactas de un pasaje, obtenida al promediar las propias probabilidades del modelo y convertir el resultado en un solo número. Una puntuación baja significa que el modelo siguió acertando sus predicciones. Una puntuación alta significa que siguió sorprendiéndose.

La idea es anterior a cualquier detector de IA del mercado, y por sí sola no dice nada sobre quién escribió un documento. Una vez que la aritmética detrás del número se hace visible, una puntuación en un informe deja de parecer un veredicto y empieza a parecer lo que realmente es: una descripción de la elección de palabras.

¿Qué es la perplexity en la detección de IA?

La perplejidad es una medida tomada del modelado del lenguaje. Puntúa qué tan bien un modelo predijo las palabras específicas que aparecen en un pasaje y presenta esa puntuación como un solo número. Los detectores aplican la misma medida a un documento enviado: un número bajo, que significa que las conjeturas del modelo coincidieron estrechamente con las palabras reales, se interpreta como una marca de autoría de máquina, y un número alto se interpreta como una marca de autoría humana. Nada en el cálculo lee el argumento del documento, sus citas o su tema. Solo lee cuán esperada era cada palabra, una a la vez.

Los detectores no inventaron esta medida. Tomaron prestada una herramienta que los sistemas de reconocimiento de voz y de traducción automática ya habían usado durante décadas para juzgar qué tan bien un modelo predijo el lenguaje ordinario, y la reutilizaron como un sustituto de la autoría, una tarea para la que nunca fue construida originalmente.

Nada de esto tiene que ver con el motor de búsqueda no relacionado mencionado antes. La perplejidad que informa un detector nunca es una empresa y nunca va en mayúscula: es una propiedad estadística simple de una secuencia de palabras, calculada de nuevo a partir del texto que se le da.

Cómo se calcula realmente la perplejidad

El cálculo se remonta a una época anterior a cualquier producto de IA. Frederick Jelinek, Robert Mercer, Lalit Bahl y James Baker introdujeron la perplejidad en 1977 para medir cuán difícil era una tarea de reconocimiento de voz para un modelo estadístico, décadas antes de que alguien aplicara el término a un ensayo o a un informe de laboratorio. La definición no ha cambiado desde entonces.

En cada posición de un documento, el modelo produce una probabilidad para la palabra que realmente viene después, algo como 0.72 para una transición común o 0.03 para una inusual. La perplejidad promedia los logaritmos de esas probabilidades a lo largo de todo el pasaje, y luego invierte el promedio con un exponente.

El exponente en there's hace más de lo que parece. Promediar probabilidades logarítmicas es exactamente lo que hacemos cuando calculamos la entropía cruzada, que es la manera, en teoría de la información, de decir cuántos bits necesitas para codificar una secuencia dada las predicciones realizadas por un modelo. Pero la perplejidad traduce el recuento de bits a algo que podemos entender mejor, un número efectivo de opciones, en lugar de un recuento abstracto de bits.

Lo que sobrevive a esa aritmética tiene una lectura limpia, casi física. Un modelo que está completamente seguro en cada ocasión produce una perplejidad de 1, el límite inferior de la escala. Un modelo que trata cada posición como un empate exacto entre ochenta palabras igualmente probables produce una perplejidad de 80.

La mayoría de los documentos reales se sitúan en algún punto entre esos dos extremos, y el lugar exacto depende del autor, del tema y de qué modelo esté haciendo la lectura.

Por qué la escritura humana tiende a obtener una puntuación distinta

Las expectativas de un modelo se construyen por completo a partir de lo que vino antes, una palabra a la vez. Después de la frase 'the treatment group showed a statistically', la gran mayoría de las continuaciones bien formadas son 'significant', y un modelo entrenado con un gran volumen de escritura científica asigna a esa palabra una alta probabilidad sin vacilar. Un autor humano que llegue a la misma frase también podría elegir 'significant', porque la propia frase es un rasgo fijo del género. La diferencia aparece en otra parte, en el sustantivo elegido dos frases más tarde, en la observación añadida entre paréntesis, en el número informado con un decimal extraño en lugar de uno redondo.

No hay truco en eso. Cuando una persona que escribe sobre datos reales intenta dar con el número exacto, el calificativo preciso, la palabra ligeramente más estrecha, está buscando cosas que son verdaderas del trabajo y no del género. Y cada una de esas elecciones le cuesta al modelo un poco más de sorpresa. La sorpresa es lo que la puntuación está diseñada para acumular.

La inferencia está haciendo más trabajo del que la medición puede respaldar. La perplejidad mide la predictibilidad directamente. Solo infiere la autoría al asumir que la escritura predecible es rara entre los seres humanos y común entre los modelos, una suposición que por lo general es razonable y, en ocasiones, errónea de una manera específica y identificable, ya que la predictibilidad es una propiedad que un texto puede tener por razones que no tienen nada que ver con quién lo tecleó.

Por qué el mismo pasaje puede obtener puntuaciones distintas

La puntuación también es menos portable de lo que parece, porque nunca se mide en el vacío. La perplejidad siempre se calcula frente al entrenamiento de un modelo de referencia específico, y esa dependencia crea problemas que ninguna definición aislada puede mostrar por sí sola.

Factor	Qué cambia	Por qué ocurre
Qué modelo está haciendo la lectura	El mismo párrafo puede obtener una puntuación baja en un modelo y alta en otro	La perplejidad solo se mide frente a los datos de entrenamiento de un modelo, y distintos modelos se entrenaron con textos diferentes
Si el pasaje es texto ampliamente reproducido	Un documento histórico famoso o una definición de manual pueden obtener una perplejidad baja incluso cuando una persona escribió cada palabra en el detector	Pangram Labs señala la Declaración de Independencia como ejemplo: se cita con tanta frecuencia en los datos de entrenamiento que un modelo encuentra que cada una de sus frases es predecible
Si el detector puede ver probabilidades de tokens en absoluto	Los modelos comerciales cerrados como ChatGPT, Gemini y Claude no exponen las probabilidades por palabra que la perplejidad necesita	Los detectores aproximan la puntuación con un modelo abierto de sustitución en lugar de calcular la perplejidad frente al modelo que realmente produjo el texto

Nada de esto hace que el número carezca de sentido, solo que sea más arriesgado confiar en él como un veredicto por sí solo. La propia documentación de GPTZero publicó en su momento una regla general aproximada, una perplexity superior a 85 se interpretaba como más probable que fuera humana, pero el umbral de un solo proveedor en un modelo no se traslada a una herramienta distinta medida frente a otra diferente. Un detector que informa una sola puntuación está comprimiendo todos los factores anteriores en una sola cifra sin decir cuál de ellos hizo el trabajo.

Qué indica realmente una puntuación de perplexity

Los detectores comerciales combinan la perplexity con patrones a nivel de oración, el entrenamiento del clasificador y varias otras señales antes de imprimir siquiera un solo número en un informe. La visión más completa de cómo funcionan realmente los detectores de AI se trata por separado, y explica de dónde procede el resto de ese número.

El ritmo de una oración a la siguiente es una señal relacionada pero distinta, tratada en sus propios términos por el comprobador de burstiness, y examina cuánta variación hay a lo largo de un pasaje en lugar de fijarse en una sola palabra.

Ninguno de estos números puede probar quién escribió un documento, incluido el Human Score estimado que TextPulse calcula a partir de un borrador enviado, que describe el texto en lugar de emitir un veredicto sobre él. Una versión simplificada de la misma idea, la variedad del vocabulario en lugar de la probabilidad completa del modelo, impulsa el comprobador gratuito de perplexity de este sitio, que merece la pena probar con un párrafo cuyo origen ya se conoce antes de confiar en lo que un informe dice sobre el de otra persona.

El comprobador de perplexity se sitúa junto al resto de las herramientas gratuitas de TextPulse, de modo que una revisión completa de un borrador, el vocabulario, el ritmo y todo lo demás, no requiere tener abiertas a la vez una docena de pestañas distintas.

La perplejidad es una de las dos estadísticas en las que se apoyan estos sistemas. La otra es la burstiness, la variación en la longitud y la estructura de las oraciones a lo largo de un pasaje, y debajo de ambas está la aritmética de la probabilidad de los tokens que produce la puntuación en primer lugar.

Un número en un informe es el final de una larga cadena de aritmética, no el inicio de un argumento sobre quién escribió algo. La pregunta más interesante, una vez que la aritmética deja de ser misteriosa, es qué hizo específicamente que un documento fuera sorprendente o predecible en primer lugar, y esa es una pregunta sobre la escritura misma.