¿Qué es la perplejidad en la detección de AI?

Busque perplexity y detección de IA juntos, y varios de los primeros resultados terminan refiriéndose a un producto no relacionado: un motor de búsqueda impulsado por IA que, además, se llama Perplexity. La métrica que un detector informa en realidad no comparte nada con esa empresa salvo la palabra. Procede de la investigación en reconocimiento del habla de décadas anteriores a GPTZero o al motor de búsqueda, y mide algo más محدودado que cualquiera de los dos: cuán sorprendido está un modelo de lenguaje por las palabras que ya aparecen en la página.

Entonces, ¿qué es la perplexity en la detección de IA? La perplexity es una puntuación que describe qué tan bien un modelo de lenguaje predijo las palabras exactas de un pasaje, producida al promediar las propias probabilidades del modelo y convertir el resultado en un solo número. Una puntuación baja significa que el modelo siguió acertando en sus predicciones. Una puntuación alta significa que siguió siendo sorprendido.

La idea es anterior a cualquier detector de IA del mercado, y por sí sola no dice nada sobre quién escribió un documento. Una vez que la aritmética detrás del número se hace visible, una puntuación en un informe deja de parecer un veredicto y empieza a parecer lo que realmente es: una descripción de la elección de palabras.

¿Qué es la perplexity en la detección de IA?

La perplexity es una medida tomada de la modelización del lenguaje. Evalúa qué tan bien un modelo predijo las palabras específicas que aparecen en un pasaje e informa esa puntuación como un solo número. Los detectores aplican la misma medida a un documento presentado: un número bajo, que significa que las predicciones del modelo coincidieron de cerca con las palabras reales, se interpreta como una señal de autoría de máquina, y un número alto se interpreta como una señal de autoría humana. Nada en el cálculo lee el argumento del documento, sus citas ni su tema. Solo lee cuán esperable era cada palabra, una por una.

Los detectores no inventaron esta medida. Tomaron prestada una herramienta que los sistemas de reconocimiento del habla y de traducción automática ya habían usado durante décadas para juzgar qué tan bien un modelo predijo el lenguaje ordinario, y la reutilizaron como un indicador indirecto de autoría, una función para la que nunca fue construida originalmente.

Nada de esto tiene que ver con el motor de búsqueda no relacionado mencionado antes. La perplexity que informa un detector nunca es una empresa y nunca va en mayúscula: es una propiedad estadística simple de una secuencia de palabras, calculada de nuevo a partir de cualquier texto que se le dé.

Cómo se calcula realmente la perplexity

El cálculo se remonta a una época anterior a cualquier producto de IA. Frederick Jelinek, Robert Mercer, Lalit Bahl y James Baker introdujeron la perplexity en 1977 para medir cuán difícil era una tarea de reconocimiento de voz para un modelo estadístico, décadas antes de que alguien aplicara el término a un ensayo o a un informe de laboratorio. La definición no ha cambiado desde entonces.

En cada posición de un documento, el modelo produce una probabilidad para la palabra que realmente viene a continuación, algo como 0.72 para una transición común o 0.03 para una inusual. La perplexity promedia los logaritmos de esas probabilidades a lo largo de todo el pasaje, y luego invierte el promedio mediante un exponente.

El exponente en there's hace más de lo que parece. Promediar probabilidades logarítmicas es exactamente lo que hacemos cuando calculamos la entropía cruzada, que es la forma, en teoría de la información, de decir cuántos bits se necesitan para codificar una secuencia dadas las predicciones hechas por un modelo. Pero la perplexity traduce el recuento de bits a algo que podemos entender mejor: un número efectivo de opciones, en lugar de un recuento abstracto de bits.

Lo que sobrevive a esa aritmética tiene una lectura clara, casi física. Un modelo que está completamente seguro en cada ocasión produce una perplexity de 1, el límite inferior de la escala. Un modelo que trata cada posición como un empate entre ochenta palabras igualmente probables produce una perplexity de 80.

La mayoría de los documentos reales se sitúan en algún punto entre esos dos extremos, y el lugar exacto depende del autor, del tema y de qué modelo esté haciendo la lectura.

Por qué la escritura humana tiende a obtener una puntuación diferente

Las expectativas de un modelo se construyen por completo a partir de lo que vino antes, una palabra a la vez. Después de la frase 'the treatment group showed a statistically', la gran mayoría de las continuaciones bien formadas son 'significant', y un modelo entrenado con un gran volumen de escritura científica asigna a esa palabra una alta probabilidad sin vacilar. Un escritor humano que llegara a la misma frase también podría elegir 'significant', porque la frase en sí misma es un rasgo fijo del género. La brecha aparece en otra parte, en el sustantivo elegido dos oraciones más tarde, en la observación añadida entre paréntesis, en el número informado con un decimal inusual en lugar de uno redondo.

Nada de eso es un truco. Cuando una persona que escribe sobre datos reales intenta dar con el número exacto, el calificativo preciso, la palabra ligeramente más restringida, está buscando cosas que son verdaderas del trabajo en lugar de verdaderas del género. Y cada una de esas elecciones le cuesta al modelo un poco más de sorpresa. La sorpresa es lo que la puntuación está diseñada para acumular.

La inferencia está haciendo más trabajo del que la medición puede respaldar. Perplexity mide directamente la predictibilidad. Solo infiere la autoría al suponer que la escritura predecible es rara entre los humanos y común entre los modelos, una suposición que por lo general es razonable y, en ocasiones, errónea de una manera específica e identificable, ya que la predictibilidad es una propiedad que un texto puede tener por razones que no tienen nada que ver con quién lo escribió.

Por qué el mismo pasaje puede obtener puntuaciones distintas

La puntuación también es menos portátil de lo que parece, porque nunca se mide en el vacío. Perplexity siempre se calcula frente al entrenamiento de un modelo de referencia específico, y esa dependencia crea problemas que ninguna definición aislada puede mostrar por sí sola.

Factor	Qué cambia	Por qué ocurre
Qué modelo está haciendo la lectura	El mismo párrafo puede obtener una puntuación baja en un modelo y alta en otro	La perplexity solo se mide siempre frente a los datos de entrenamiento de un modelo, y distintos modelos se entrenaron con textos diferentes
Si el pasaje es texto ampliamente reproducido	Un documento histórico famoso o una definición de manual puede obtener una perplexity baja incluso cuando una persona escribió cada palabra en el detector	Pangram Labs señala la Declaración de Independencia como ejemplo: se cita con tanta frecuencia en los datos de entrenamiento que un modelo encuentra poco sorprendente cada una de sus frases
Si el detector puede ver probabilidades de tokens en absoluto	Los modelos comerciales cerrados como ChatGPT, Gemini y Claude no exponen las probabilidades por palabra que necesita la perplexity	Los detectores aproximan la puntuación con un modelo abierto sustituto en lugar de calcular la perplexity frente al modelo que realmente produjo el texto

Nada de esto hace que el número carezca de sentido, solo lo vuelve más arriesgado de confiar como un veredicto por sí solo. La propia documentación de GPTZero publicó en su momento una regla general aproximada, una perplexity superior a 85 se leía como más probable que fuera humana, pero el umbral de un solo proveedor en un modelo no se traslada a una herramienta distinta medida frente a otra diferente. Un detector que informa una sola puntuación está comprimiendo todos los factores anteriores en una sola cifra sin decir cuál de ellos hizo el trabajo.

Qué te dice realmente una puntuación de perplexity

Los detectores comerciales combinan la perplexity con patrones a nivel de oración, entrenamiento de clasificadores y varias otras señales antes de imprimir siquiera un solo número en un informe. La imagen más completa de cómo funcionan realmente los detectores de IA se trata por separado, y explica de dónde sale el resto de ese número.

El ritmo de una oración a otra es una señal relacionada pero distinta, tratada por sus propios términos por el comprobador de burstiness, y examina cuánta variación hay a lo largo de un pasaje, en lugar de una sola palabra.

Ninguno de estos números puede demostrar quién escribió un documento, incluido el Human Score estimado que TextPulse calcula a partir de un borrador enviado, que describe el texto en lugar de emitir un veredicto sobre él. Una versión simplificada de la misma idea, la variedad léxica en lugar de la probabilidad completa del modelo, impulsa el comprobador gratuito de perplexity de este sitio, que merece la pena probar con un párrafo cuyo origen ya se conoce antes de confiar en lo que un informe dice sobre el de otra persona.

El comprobador de perplexity se sitúa junto al resto de las herramientas gratuitas de TextPulse, de modo que una revisión completa de un borrador, el vocabulario, el ritmo y todo lo demás, no necesita una docena de pestañas separadas abiertas al mismo tiempo.

Perplexity es una de las dos estadísticas en las que se apoyan estos sistemas. La otra es burstiness, la variación en la longitud y la estructura de las oraciones a lo largo de un pasaje, y debajo de ambas está la aritmética de la probabilidad de los tokens que produce la puntuación en primer lugar.

Un número en un informe es el final de una larga cadena de aritmética, no el comienzo de un argumento sobre quién escribió algo. La pregunta más interesante, una vez que la aritmética deja de ser misteriosa, es qué hizo exactamente que un documento resultara sorprendente o predecible en primer lugar, y esa es una pregunta sobre la escritura misma.