Точен ли ZeroGPT?

Точность ZeroGPT, согласно текущему заявлению самой компании, составляет показатель, «приближающийся к >98% на внутренних оценках», и компания признаёт, что эта цифра получена в ходе тестирования, которое она проводила на самой себе, а не во внешней лаборатории. Это единственное уточнение, internal, в значительной степени и есть всё, что нужно читателю, прежде чем воспринимать любой бесплатный детектор и его процент как установленный факт.

ZeroGPT является одним из наиболее часто используемых бесплатных AI detectors, главным образом потому, что он ничего не стоит и выдаёт ответ за секунды. Тот же разрыв между заявлениями поставщиков и независимым тестированием, который в целом проявляется у AI detectors, проявляется и здесь. Далее изложено, что компания в настоящее время заявляет о собственной точности и методе, что, по-видимому, этот метод на самом деле измеряет, и почему такой инструмент, как этот, склонен давать сбои в конкретных, предсказуемых случаях на том типе письма, который представляют академические читатели.

Что такое точность ZeroGPT, согласно компании?

Собственный FAQ ZeroGPT утверждает, что компания «обеспечивает ведущую в отрасли точность и постоянно совершенствуется, чтобы сохранять наилучшие показатели, приближаясь к >98% на внутренних оценках». Это заявление поставщика о собственном продукте, протестированном самой компанией, сформулированное с реальной оговоркой, встроенной в сам текст: «приближаясь к» числу не то же самое, что достигать и удерживать его, а «внутренние оценки» означает, что ни одна внешняя сторона не опубликовала сопоставимую цифру. На странице не указано, насколько велик был этот внутренний набор тестов, что он содержал и кто за пределами компании проверял методологию.

Компания рекомендует не менее 150 to 200 слов текста для стабильного результата, при этом 500 to 1,000 слов или более дополнительно повышают надёжность, и прямо указывает, что очень короткие или сильно отредактированные фрагменты "carry fewer signals." Это единственное раскрытие информации важнее, чем указанный в заголовке процент. Это собственное признание поставщика, что оценка настолько заслуживает доверия, насколько длинным и неизменённым является входной текст, а это условие реальная работа не всегда выполняет.

Какой метод ZeroGPT на самом деле использует?

ZeroGPT называет свою базовую систему DeepAnalyse, описывая её на собственном сайте как "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives", которая читает текст "from the macro level to the micro one." В его FAQ под этим брендингом описывается нечто более конкретное: анализ "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets."

Burstiness и entropy не уникальны для ZeroGPT. Это те же статистические свойства, то есть насколько сильно варьируются длина и ритм предложений, а также насколько предсказуемо каждое следующее слово, которые собственное объяснение TextPulse на how AI detectors work рассматривает как общий механизм всей этой категории инструментов. free perplexity checker показывает это же базовое значение напрямую, не требуя от автора сначала доверять проценту какого-либо одного поставщика.

Почему академическое письмо сбивает эти детекторы с толку?

FAQ ZeroGPT формулирует это так: "highly polished, formulaic, or low-entropy writing can resemble AI." Академическая проза предназначена для highly polished, formulaic, low-entropy writing. Раздел методов, обзор литературы и формальное сопроводительное письмо поощряют именно традиционную, а не изобретательную формулировку, потому что именно традиционность в первую очередь делает документ пригодным для читателя, и эта традиционность как раз и есть низкоэнтропийный шаблон, который собственное раскрытие поставщика называет риском.

Независимое рецензируемое тестирование показывает, почему этот режим отказа сильнее бьет по одним авторам, чем по другим. Исследование Stanford 2023 года проверило семь широко используемых детекторов, в том числе ZeroGPT, на 91 реальном эссе TOEFL, написанном неносителями английского языка, и на 88 эссе, написанных восьмиклассниками из США. ZeroGPT пометил 48 процентов эссе TOEFL как сгенерированные AI, против 0 процентов эссе восьмиклассников, то есть в том же направлении ошибки, которое показал каждый детектор в этом исследовании, только в ином масштабе.

В этом разрыве нет ничего уникального для ZeroGPT, и в нем нет ничего нового. Это та же самая модель предвзятости к авторам, для которых английский не является родным, которая документирована по всей индустрии детекторов, подробнее рассмотрена на странице TextPulse о том, почему AI detectors biased against non-native speakers. Что именно показывает этот разрыв о бесплатном потребительском инструменте, так это то, что собственное раскрытое ограничение поставщика, низкоэнтропийное письмо читается как созданное машиной, не является гипотетическим. Рецензируемый тест зафиксировал это на данном конкретном продукте за годы до того, как текущий FAQ компании назвал этот механизм ее собственными словами.

Может ли оценка бесплатного детектора доказать что-либо об одном документе?

Сама по себе, нет. Процент ZeroGPT не является доказательством чего-либо о конкретном документе, в любом направлении. Это лишь оценка одной модели, построенная на внутреннем тестировании, которое компания не опубликовала в форме, проверяемой кем-либо вне компании, и примененная к тексту, длина, история редактирования и жанр которого по-разному меняют интерпретацию, что уже признает собственный FAQ поставщика. Рассматривать единственную бесплатную оценку как вердикт значит требовать от нее большего, чем заявляет о ней компания, которая ее выпускает.

Для чего оценка действительно полезна, так это для более узкой и более прозаической задачи: быстрого, бесплатного понимания того, где в данный момент находится черновик по тому же виду статистического измерения, которое также выполняет платный институциональный инструмент, до того как его увидит кто-либо ещё. Бесплатные инструменты TextPulse прямо охватывают ту же область, не заставляя автора гадать, какому из нескольких бесплатных детекторов доверять в первую очередь.

Показатели точности скрывают, на кого ложатся ошибки и что их вызывает. Знание когда использовать a, an и the устраняет один из шаблонов, который вызывает пометку, а что на самом деле означает ложноположительный результат изложено отдельно.

Ничто из этого не делает число ZeroGPT бессмысленным, и ничто из этого не делает это число достаточным само по себе. Оценка является исходной приблизительной величиной, полученной методом, который компания описывает лишь в общих чертах и не открывала для внешнего тестирования, на тексте, один только жанр которого может изменить результат ещё до того, как кто-либо из участников сделал что-либо неправильное. Два слова, несущие наибольший объём информации на той странице FAQ, это не процент. Это оговорки, стоящие прямо рядом с ним: internal и pushing toward. Бесплатная оценка является отправной точкой для разговора о черновике, а не заключительным аргументом в нём.

Что показало наше собственное исследование

В исследовании согласованности детекторов TextPulse Research девять коммерческих ИИ-детекторов оценили одни и те же 90 академических текстов. Один из них был гибридным текстом из 455 слов: написанные человеком начало и концовка вокруг сгенерированной ИИ средней части из 168 слов. ZeroGPT оценил этот текст в 7.6% ИИ, тогда как вердикты остальных инструментов по тем же словам разошлись от 0% до 95.7% ИИ. Полная статья, корпус и матрица оценок по каждому инструменту открыто доступны на TextPulse Research.