Puntuación de similitud de Turnitin frente a puntuación de IA: dos informes distintos

Un informe llega con dos cifras: una puntuación de similitud del 3 por ciento y una puntuación de IA del 88 por ciento. La lectura natural es que deben estar midiendo lo mismo, así que la cifra baja debería significar que la cifra alta probablemente también está equivocada. No funciona así. Turnitin similarity vs AI score es una comparación entre dos sistemas separados que comprueban dos cosas separadas, y un envío puede obtener una puntuación baja en uno y alta en el otro sin que ninguna de las dos cifras sea un error.

Es más antiguo que el de IA, y se creó para detectar texto que coincide con algo que ya existe. Es más reciente, se añadió al mismo Similarity Report como su propia medición independiente, y se creó para estimar si la prosa parece generada por máquina, con independencia de si coincide con algo o no. Son completamente independientes y no se influyen entre sí, según la propia documentación de Turnitin. Todo lo demás en este texto.

Turnitin Similarity frente a AI Score: qué informa cada número

Turnitin trata ambos como mediciones distintas agrupadas en un solo producto, en lugar de dos vistas de un mismo resultado. El Similarity Report compara una entrega con una base de datos de contenido web, publicaciones académicas y trabajos estudiantiles enviados previamente, y devuelve el porcentaje del texto de la entrega que coincide con algo ya presente en esa base de datos. La detección de escritura con IA ejecuta un modelo completamente distinto, añadido a ese mismo informe como su propia puntuación independiente, un modelo entrenado para juzgar hasta qué punto la prosa de un pasaje se parece a una escritura generada por máquina, sin referencia alguna a ninguna base de datos externa. La mecánica más completa de cómo el clasificador de IA de Turnitin llega a ese número se trata por separado, lo que importa aquí es que responde a una pregunta distinta de la del motor de similitud que está dentro del mismo informe.

Qué mide realmente la puntuación de similitud

La similitud es un ejercicio de coincidencia, no un juicio. La propia orientación de Turnitin es explícita al afirmar que la herramienta no comprueba el plagio. Comprueba solapamientos y deja la interpretación al docente que lee el informe. Una cita correctamente delimitada, una frase de la sección de métodos compartida por todo un subcampo, una lista de referencias formateada del mismo modo en que cada artículo de la revista formatea su lista de referencias: todo ello puede registrarse como coincidencia, porque el sistema cuenta cadenas de texto superpuestas en lugar de juzgar si el solapamiento es legítimo.

Eso también explica por qué una puntuación de similitud de cero demuestra menos de lo que parece. Significa que la entrega no contiene ningún tramo largo e ininterrumpido de texto encontrado en otras fuentes indexadas de Turnitin. No dice nada sobre cómo se produjeron las frases que sí están ahí, porque producir una frase que no coincide con nada en una base de datos no es la misma habilidad que producir una frase que un modelo de lenguaje no habría previsto.

Qué mide realmente la puntuación de IA

La puntuación de IA no tiene ninguna base de datos con la que comprobarse. Un clasificador lee la prosa entregada y estima, a partir de patrones que aprendió en ejemplos de escritura humana y generada por IA, cuán probable es que esa prosa haya salido de un modelo y no de una persona. Nada en esa estimación depende de si la frase exacta ha aparecido alguna vez en otro lugar. Una frase puede ser completamente única, no haber sido escrita por nadie hasta esta entrega, y aun así leerse como estadísticamente típica de la salida de IA si sus elecciones léxicas y su ritmo siguen el patrón que un modelo de lenguaje tiende a producir.

Este es el mismo territorio estadístico que se cubre por completo en el relato más amplio de cómo funcionan realmente los detectores de IA: la previsibilidad a nivel de palabra y el ritmo a nivel de frase, reunidos en una sola puntuación del documento. La versión de Turnitin de ese clasificador es propietaria, pero la premisa subyacente, que el texto generado tiende a ser estadísticamente más típico que la escritura humana, es la misma que opera bajo todas las herramientas de esta categoría.

	Puntuación de similitud	Puntuación de IA
Qué mide	Cuánto del texto de la entrega coincide con otros documentos indexados	Hasta qué punto la prosa se parece a la escritura generada por IA estadísticamente típica
Qué desencadena un número alto	Citas largas, formulaciones comunes específicas del campo, material reutilizado, o una coincidencia con una entrega anterior	Ritmo uniforme de las oraciones y elecciones de palabras consistentemente previsibles a lo largo del documento
Qué no prueba un número alto	Que el texto coincidente se usó de forma indebida. El material citado correctamente aún puede registrarse como coincidencia.	Que cualquier oración aislada fue generada por IA. El clasificador lee el patrón general del documento, no una línea de manera aislada.

¿Puede un trabajo tener 0 por ciento de similitud y una puntuación de IA del 90 por ciento?

Sí, y la combinación no es un fallo. Las dos puntuaciones responden a preguntas distintas, por lo que son posibles las cuatro combinaciones de alto y bajo, y cada una implica algo diferente sobre cómo se produjo el texto.

• Baja similitud, baja puntuación de IA: escritura original ordinaria que además se lee con la variación humana típica. El caso común de la mayoría del trabajo estudiantil genuino.
• Baja similitud, alta puntuación de IA: oraciones originales, no copiadas de ninguna parte, que se leen como estadísticamente previsibles de la manera en que tiende a hacerlo el texto generado. La firma de la escritura de IA sin editar que nadie parafraseó a partir de una fuente existente.
• Alta similitud, baja puntuación de IA: texto que coincide de cerca con una fuente existente escrita por una persona, sin la planitud estadística que un clasificador asocia con la generación. Texto copiado, detectado por la herramienta más antigua y no por la más nueva.
• Alta similitud, alta puntuación de IA: texto que coincide con una fuente existente que a su vez fue generada por IA, por ejemplo, un trabajo escrito por IA presentado anteriormente o una página de texto producido por IA ya indexada desde la web abierta.

Ninguna de estas combinaciones requiere nada inusual en el lado del software. Se derivan del hecho de que un sistema comprueba si hay una coincidencia y el otro comprueba si hay un patrón, y un fragmento de texto puede presentar cualquiera de esas propiedades, ambas o ninguna.

Qué demuestra, y qué no demuestra, una puntuación alta de AI

Una puntuación alta de AI es una estimación estadística, no una confesión extraída del texto. Indica que la prosa que tiene delante el clasificador se parece, en sus elecciones léxicas y su ritmo, al tipo de escritura que el modelo fue entrenado para asociar con la generación por AI. No identifica una oración concreta como escrita con certeza por una máquina, y no sabe nada sobre cómo se produjo realmente el documento, solo cómo se lee una vez terminado. TextPulse adopta la misma posición respecto de sus propios números: lo que informa es una Human Score estimada calculada a partir del texto que tiene delante, no un veredicto sobre qué herramienta, si es que hubo alguna, intervino en el documento.

La respuesta práctica ante cualquiera de las dos cifras, una puntuación de similitud baja o una puntuación alta de AI, es la misma: tratarla como un motivo para examinar con más atención, no como un hallazgo que aceptar o descartar a simple vista. Los borradores, las notas y el historial de versiones muestran cómo se escribió realmente un documento de una manera que un porcentaje nunca puede mostrar, en ninguno de los dos informes. Quien tenga curiosidad por saber a qué está reaccionando realmente un clasificador en su propio borrador puede ver por sí mismo el mismo patrón a nivel de palabra con un free perplexity checker, mucho antes de que se genere cualquier informe.

La free tools collection de TextPulse cubre las otras capas estadísticas que conviene comprobar antes de que un borrador llegue a manos de un docente, no solo las dos comparadas aquí.

Una vez separados los dos números, la siguiente pregunta es qué se considera una buena puntuación de Turnitin. Para el otro detector con el que los estudiantes se encuentran con más frecuencia, cómo funciona GPTZero se trata en su propia página.

Los dos números seguirán apareciendo uno junto al otro en el mismo informe, y seguirán siendo leídos como un solo número por personas con prisa. Saber qué pregunta está respondiendo realmente cada uno es lo que convierte un par confuso de porcentajes en dos piezas de información separadas y útiles.