Turnitin Similarity Score vs AI Score: Dos informes diferentes

Un informe llega con dos números: una puntuación de similitud del 3 por ciento y una puntuación de IA del 88 por ciento. La lectura natural es que deben estar midiendo lo mismo, de modo que el número bajo debería significar que el número alto probablemente también está equivocado. No funciona así. Turnitin similarity vs AI score es una comparación entre dos sistemas separados que comprueban dos cosas separadas, y una entrega puede obtener una puntuación baja en uno y alta en el otro sin que ninguno de los dos números sea un error.

Es más antiguo que el de IA, creado para detectar texto que coincide con algo que ya existe. Es más reciente, añadido al mismo Similarity Report como su propia medición independiente, creado para estimar si la prosa parece generada por máquina, con independencia de si coincide con algo o no. Son completamente independientes y no se influyen entre sí, según la propia documentación de Turnitin. Todo lo demás en este texto.

Turnitin Similarity vs AI Score: Qué informa cada número

Turnitin trata las dos como mediciones distintas agrupadas en un solo producto, en lugar de como dos vistas de un mismo resultado. El Similarity Report compara una entrega con una base de datos de contenido web, publicaciones académicas y trabajos de estudiantes enviados previamente, y devuelve el porcentaje del texto de la entrega que coincide con algo que ya está en esa base de datos. La detección de escritura con IA ejecuta un modelo completamente distinto, añadido a ese mismo informe como su propia puntuación independiente, un modelo entrenado para juzgar hasta qué punto la prosa de un pasaje se parece a la escritura generada por máquina, sin referencia alguna a ninguna base de datos externa. La mecánica más completa de cómo el clasificador de IA de Turnitin llega a ese número se trata por separado, lo que importa aquí es que responde a una pregunta distinta de la del motor de similitud que está dentro del mismo informe.

Qué mide realmente la puntuación de similitud

La similitud es un ejercicio de coincidencia, no un juicio. La propia orientación de Turnitin es explícita al señalar que la herramienta no comprueba el plagio. Comprueba el solapamiento y deja la interpretación al docente que lee el informe. Una cita correctamente delimitada, una frase de la sección de métodos compartida por todo un subcampo, una lista de referencias formateada del mismo modo en que cada artículo de la revista formatea su lista de referencias: todo ello puede registrarse como una coincidencia, porque el sistema cuenta cadenas de texto superpuestas en lugar de juzgar si el solapamiento es legítimo.

Por eso también una puntuación de similitud de cero demuestra menos de lo que parece. Significa que la entrega no contiene ningún tramo largo e ininterrumpido de texto encontrado en otras fuentes indexadas por Turnitin. No dice nada sobre cómo se produjeron las frases que sí están ahí, porque producir una frase que no coincida con nada en una base de datos no es la misma habilidad que producir una frase que un modelo de lenguaje no habría previsto.

Qué mide realmente la puntuación de IA

La puntuación de IA no tiene una base de datos contra la que comprobarse. Un clasificador lee la prosa entregada y estima, a partir de patrones que aprendió en ejemplos de escritura humana y generada por IA, cuán probable es que esa prosa haya procedido de un modelo y no de una persona. Nada en esa estimación depende de si la frase exacta ha aparecido alguna vez antes en algún lugar. Una frase puede ser completamente única, no haber sido escrita por nadie hasta esta entrega, y aun así leerse como estadísticamente típica de la producción de IA si sus elecciones léxicas y su ritmo siguen el patrón que un modelo de lenguaje tiende a producir.

Este es el mismo terreno estadístico que se aborda íntegramente en el relato más amplio de cómo funcionan realmente los detectores de IA: la previsibilidad a nivel de palabra y el ritmo a nivel de frase, reunidos en una sola puntuación del documento. La versión de Turnitin de ese clasificador es propietaria, pero la premisa subyacente, que el texto generado tiende a ser estadísticamente más típico que la escritura humana, es la misma que opera bajo cada herramienta de esta categoría.

	Puntuación de similitud	Puntuación de IA
Qué mide	Cuánto del texto de la entrega coincide con otros documentos indexados	Hasta qué punto la prosa se parece a la escritura generada por IA estadísticamente típica
Qué desencadena un número alto	Citas largas, formulaciones comunes propias del campo, material reutilizado, o una coincidencia con una entrega previa	Ritmo uniforme de las oraciones y elecciones de palabras consistentemente predecibles a lo largo del documento
Qué no prueba un número alto	Que el texto coincidente se usó de forma indebida. El material citado correctamente aún puede registrarse como coincidencia.	Que cualquier oración aislada fue generada por IA. El clasificador lee el patrón general del documento, no una línea de forma aislada.

¿Puede un trabajo tener 0 por ciento de similitud y una puntuación de IA del 90 por ciento?

Sí, y la combinación no es un fallo. Las dos puntuaciones responden a preguntas distintas, por lo que son posibles las cuatro combinaciones de alto y bajo, y cada una implica algo distinto sobre cómo se produjo el texto.

• Baja similitud, baja puntuación de IA: escritura original ordinaria que además se lee con la variación humana típica. El caso común en la mayor parte del trabajo estudiantil genuino.
• Baja similitud, alta puntuación de IA: oraciones originales, no copiadas de ninguna parte, que se leen como estadísticamente predecibles, de la manera en que tiende a hacerlo el texto generado. La firma de la escritura de IA sin editar que nadie parafraseó a partir de una fuente existente.
• Alta similitud, baja puntuación de IA: texto que coincide de cerca con una fuente existente escrita por una persona, sin la planitud estadística que un clasificador asocia con la generación. Texto copiado, detectado por la herramienta más antigua y no por la más nueva.
• Alta similitud, alta puntuación de IA: texto que coincide con una fuente existente que a su vez fue generada por IA, por ejemplo un trabajo escrito por IA presentado previamente o una página de texto producido por IA ya indexada desde la web abierta.

Ninguna de estas combinaciones requiere nada inusual en el lado del software. Se derivan del hecho de que un sistema comprueba una coincidencia y el otro comprueba un patrón, y un fragmento de texto puede tener cualquiera de esas propiedades, ambas o ninguna.

Qué demuestra, y qué no demuestra, una puntuación alta de IA

Una puntuación alta de IA es una estimación estadística, no una confesión extraída del texto. Indica que la prosa que tiene delante el clasificador se parece, en sus elecciones léxicas y en su ritmo, al tipo de escritura que el modelo fue entrenado para asociar con la generación por IA. No identifica una frase concreta como escrita sin duda por una máquina, y no sabe nada sobre cómo se produjo realmente el documento, solo sobre cómo se lee una vez terminado. TextPulse adopta la misma posición respecto de sus propios números: lo que informa es una puntuación humana estimada calculada a partir del texto que tiene delante, no un veredicto sobre qué herramienta, si alguna, intervino en el documento.

La respuesta práctica a cualquiera de los dos números, una puntuación de similitud baja o una puntuación de IA alta, es la misma: tratarlo como un motivo para examinarlo más de cerca, no como un hallazgo que aceptar o descartar a simple vista. Los borradores, las notas y el historial de versiones muestran cómo se escribió realmente un documento de una manera que un porcentaje nunca puede, en ninguno de los dos informes. Quien tenga curiosidad por saber a qué está reaccionando realmente un clasificador en su propio borrador puede ver por sí mismo el mismo patrón a nivel de palabra con un comprobador de perplexity gratuito, mucho antes de que se genere cualquier informe.

La colección de herramientas gratuitas de TextPulse cubre las otras capas estadísticas que conviene comprobar antes de que un borrador llegue a manos de un profesor, no solo las dos comparadas aquí.

Una vez separadas las dos cifras, la siguiente pregunta es qué se considera una buena puntuación de Turnitin. Para el otro detector con el que los estudiantes se encuentran con más frecuencia, cómo funciona GPTZero se trata en su propia página.

Los dos números seguirán apareciendo uno junto al otro en el mismo informe, y seguirán siendo leídos como un solo número por personas con prisa. Saber qué pregunta responde realmente cada uno es lo que convierte un par confuso de porcentajes en dos piezas de información separadas y útiles.