¿Es preciso ZeroGPT?

La precisión de ZeroGPT, según la afirmación actual de la propia empresa, es una tasa "que se acerca a >98% en evaluaciones internas", una cifra que la empresa reconoce que procede de pruebas que realizó sobre sí misma y no de un laboratorio externo. Ese único matiz, interna, es casi todo lo que un lector necesita antes de tratar el porcentaje de cualquier detector gratuito como un hecho establecido.

ZeroGPT es uno de los detectores de IA gratuitos más utilizados, en gran parte porque no cuesta nada y devuelve una respuesta en segundos. La misma brecha entre las afirmaciones del proveedor y las pruebas independientes que aparece en general en los detectores de IA aparece aquí también. Lo que sigue es lo que la empresa afirma actualmente sobre su propia precisión y su método, lo que ese método parece medir en realidad, y por qué una herramienta así tiende a fallar de maneras concretas y previsibles en el tipo de escritura que presentan los lectores académicos.

¿Qué es la precisión de ZeroGPT, según la empresa?

La propia FAQ de ZeroGPT afirma que la empresa "ofrece una precisión líder en el sector y se mejora continuamente para mantener un rendimiento de primer nivel, acercándose a >98% en evaluaciones internas". Esa es una afirmación del proveedor sobre su propio producto, probada por la propia empresa, formulada con una cautela real incorporada en la redacción: "acercándose a" una cifra no es lo mismo que alcanzarla y mantenerla, y "evaluaciones internas" significa que ninguna parte externa ha publicado una cifra coincidente. Nada en la página indica cuán grande fue ese conjunto de pruebas interno, qué contenía ni quién fuera de la empresa revisó la metodología.

La empresa recomienda al menos 150 a 200 palabras de texto para obtener un resultado estable, y señala que 500 a 1,000 palabras o más mejoran aún más la fiabilidad, y afirma directamente que los fragmentos muy breves o muy editados "carry fewer signals." Esa única divulgación importa más que el porcentaje del titular. Es el reconocimiento del propio proveedor de que la puntuación solo es tan fiable como lo largo que sea el texto de entrada y lo poco alterado que esté, una condición que una entrega real no siempre cumple.

¿Qué método está usando realmente ZeroGPT?

ZeroGPT denomina a su sistema subyacente DeepAnalyse, descrito en su propio sitio como una "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives" que lee un texto "from the macro level to the micro one." Su FAQ describe algo más específico bajo la marca: un análisis de "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets."

La burstiness y la entropy no son exclusivas de ZeroGPT. Son las mismas propiedades estadísticas, cuánto varían la longitud y el ritmo de las oraciones, y cuán predecible es cada palabra siguiente, que la propia explicación de TextPulse sobre how AI detectors work aborda como el mecanismo general detrás de toda esta categoría de herramienta. Un free perplexity checker muestra directamente ese mismo número subyacente, sin pedir primero a quien escribe que confíe en el porcentaje de un único proveedor.

¿Por qué la escritura académica hace tropezar a estos detectores?

La FAQ de ZeroGPT lo expresa así: "highly polished, formulaic, or low-entropy writing can resemble AI." La prosa académica está diseñada para una escritura muy pulida, formulaica y de baja entropy. Una sección de métodos, una revisión de la literatura y una carta de presentación formal recompensan la expresión convencional por encima de la inventiva, porque la convención es lo que hace que el documento sea utilizable para su lector en primer lugar, y esa convención es precisamente el patrón de baja entropy que la propia divulgación del proveedor identifica como un riesgo.

Las pruebas independientes revisadas por pares muestran por qué este modo de fallo afecta con más fuerza a algunos escritores que a otros. Un estudio de Stanford de 2023 ejecutó siete detectores de uso extendido, entre ellos ZeroGPT, contra 91 ensayos reales de TOEFL escritos por hablantes no nativos de inglés y 88 ensayos escritos por alumnos de octavo grado de Estados Unidos. ZeroGPT marcó el 48 por ciento de los ensayos de TOEFL como generados por IA, frente al 0 por ciento de los ensayos de octavo grado, la misma dirección de error que mostró cada detector en ese estudio, solo que en una magnitud distinta.

No hay nada en esa diferencia que sea exclusivo de ZeroGPT, y nada en ella que sea información nueva. Es el mismo patrón de sesgo contra escritores no nativos documentado en toda la industria de detectores, tratado con más detalle en la propia página de TextPulse sobre por qué los detectores de IA están sesgados contra los hablantes no nativos. Lo que la diferencia muestra específicamente sobre una herramienta gratuita para consumidores es que la limitación que el propio proveedor ha divulgado, la escritura de baja entropía se lee como si fuera producida por una máquina, no es hipotética. Una prueba revisada por pares detectó que esto ocurría en este producto exacto años antes de que la FAQ actual de la empresa nombrara el mecanismo con sus propias palabras.

¿Puede la puntuación de un detector gratuito demostrar algo sobre un solo documento?

No por sí sola. Un porcentaje de ZeroGPT no es prueba de nada sobre un documento específico, en ninguno de los dos sentidos. Es la estimación de un modelo, construida a partir de pruebas internas que la empresa no ha publicado en una forma que cualquiera fuera de la empresa pueda verificar, aplicada a una escritura cuya longitud, historial de edición y género modifican la lectura de maneras que la propia FAQ del proveedor ya reconoce. Tratar una sola puntuación gratuita como un veredicto exige de esa puntuación más de lo que la empresa que la emite afirma para ella.

Lo que hace que una puntuación sea realmente útil es algo más limitado y más cotidiano: una lectura rápida y sin coste de dónde se sitúa actualmente un borrador en el mismo tipo de medición estadística que también ejecuta una herramienta institucional de pago, antes de que nadie más lo vea. Las herramientas gratuitas de TextPulse cubren ese mismo terreno directamente, sin pedirle a quien escribe que adivine primero en cuál de varias puntuaciones de detectores gratuitos confiar.

Las cifras de precisión ocultan sobre quién recaen los errores y qué los desencadena. Saber cuándo usar a, an y the elimina uno de los patrones que activa una señal, y qué significa realmente un falso positivo se expone por separado.

Nada de esto hace que el número de ZeroGPT carezca de sentido, y nada de esto hace que el número sea suficiente por sí solo. Una puntuación es una estimación inicial, producida por un método que la empresa describe solo de forma general y que no ha abierto a pruebas externas, sobre una escritura cuyo género por sí solo puede modificar el resultado antes de que nadie implicado haya hecho nada incorrecto. Las dos palabras que aportan más información en esa página de preguntas frecuentes no son el porcentaje. Son las cautelas situadas justo al lado: interno, y orientado hacia. Una puntuación gratuita es un punto de partida para una conversación sobre un borrador, no un argumento final en ella.

Lo que encontró nuestra propia investigación

En el estudio de concordancia entre detectores de TextPulse Research, nueve detectores comerciales de IA calificaron los mismos 90 textos académicos. Uno era un texto híbrido de 455 palabras: una apertura y un cierre escritos por humanos alrededor de una parte central de 168 palabras generada por IA. ZeroGPT puntuó este texto con 7.6% de IA, mientras que los veredictos de las demás herramientas sobre las mismas palabras fueron de 0% a 95.7% de IA. El artículo completo, el corpus y la matriz de puntuaciones por herramienta están en acceso abierto en TextPulse Research.