Чи точний ZeroGPT?

Точність ZeroGPT, за поточним твердженням самої компанії, становить рівень, що "наближається до >98% на внутрішніх оцінюваннях", і компанія визнає, що ця цифра походить із тестування, яке вона проводила на самій собі, а не з незалежної лабораторії. Саме це єдине застереження, internal, є майже всім, що читачеві потрібно знати, перш ніж сприймати будь-який відсоток безплатного детектора як встановлений факт.

ZeroGPT є одним із найуживаніших безплатних AI detectors, значною мірою тому, що він нічого не коштує і дає відповідь за кілька секунд. Та сама різниця між твердженнями постачальників і незалежним тестуванням, яка загалом простежується в AI detectors, простежується і тут. Далі подано те, що компанія нині заявляє про власну точність і метод, що, ймовірно, насправді вимірює цей метод, а також чому такий інструмент має тенденцію давати хибні результати в окремих, передбачуваних випадках на тому типі письма, який подають академічні читачі.

Що таке точність ZeroGPT, за даними компанії?

Власний FAQ ZeroGPT стверджує, що компанія "delivers industry-leading accuracy and is continuously improved to maintain best-in-class performance, pushing toward >98% on internal evaluations." Це твердження постачальника про власний продукт, перевірений самою компанією, сформульоване з реальним застереженням, закладеним у сам текст: "pushing toward" певного числа не є тим самим, що досягти його і утримувати, а "internal evaluations" означає, що жодна зовнішня сторона не опублікувала зіставну цифру. На сторінці не сказано, наскільки великим був цей внутрішній тестовий набір, що саме він містив або хто поза компанією переглядав методологію.

Компанія рекомендує щонайменше 150 до 200 слів тексту для стабільного результату, а 500 до 1,000 слів або більше ще більше підвищують надійність, і прямо зазначає, що дуже короткі або сильно відредаговані фрагменти "carry fewer signals." Це єдине розкриття має більше значення, ніж відсоток у заголовку. Це власне визнання постачальника, що оцінка є настільки надійною, наскільки довгим і незмінним є вхідний текст, умова, якої реальна подача не завжди дотримується.

Який метод ZeroGPT фактично використовує?

ZeroGPT називає свою базову систему DeepAnalyse, яку на власному сайті описує як "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives", що читає текст "from the macro level to the micro one." Його FAQ описує дещо конкретніше під брендингом: аналіз "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets."

Burstiness і entropy не є унікальними для ZeroGPT. Це ті самі статистичні властивості, тобто те, наскільки варіюються довжина речень і ритм, а також наскільки передбачуваним є кожне наступне слово, які власне пояснення TextPulse на how AI detectors work розглядає як загальний механізм, що лежить в основі всієї цієї категорії інструментів. free perplexity checker безпосередньо показує це саме базове число, не вимагаючи від автора спочатку довіряти відсотку будь-якого окремого постачальника.

Чому академічне письмо збиває ці детектори з пантелику?

FAQ ZeroGPT формулює це так: "highly polished, formulaic, or low-entropy writing can resemble AI." Академічна проза призначена для highly polished, formulaic, low-entropy writing. Розділ методів, огляд літератури та формальний супровідний лист однаково заохочують традиційну фразу, а не винахідливу, тому що саме конвенція робить документ придатним для використання його читачем, і ця конвенція є саме тим низькоентропійним шаблоном, який власне розкриття постачальника називає ризиком.

Незалежне, рецензоване тестування показує, чому цей режим збою сильніше вражає одних авторів, ніж інших. Дослідження Stanford 2023 року перевірило сім широко використовуваних детекторів, серед них ZeroGPT, на 91 реальному есе TOEFL, написаному неносіями англійської мови, і 88 есе, написаних учнями восьмого класу в США. ZeroGPT позначив 48 відсотків есе TOEFL як згенеровані AI, проти 0 відсотків есе восьмого класу, тобто той самий напрямок помилки, який показав кожен детектор у тому дослідженні, лише в іншому масштабі.

У цьому розриві немає нічого унікального для ZeroGPT, і в ньому немає нічого нового. Це та сама модель упередженості щодо неносіїв мови, задокументована в усій індустрії детекторів, докладніше описана на сторінці TextPulse про те, чому AI детектори упереджені проти неносіїв мови. Те, що цей розрив конкретно показує про безплатний споживчий інструмент, полягає в тому, що власне розкрите обмеження розробника, низькоентропійне письмо читається як машинне, не є гіпотетичним. Рецензоване тестування зафіксувало це на цьому самому продукті за роки до того, як поточний FAQ компанії назвав цей механізм її власними словами.

Чи може оцінка безплатного детектора довести щось про один документ?

Не сама по собі. Відсоток ZeroGPT не є доказом чогось про конкретний документ, у жодному напрямку. Це лише оцінка однієї моделі, побудована на внутрішньому тестуванні, яке компанія не оприлюднила в такій формі, щоб його міг перевірити хтось поза компанією, застосована до тексту, чия довжина, історія редагування і жанр усі змінюють прочитання так, як це вже визнає власний FAQ розробника. Сприймати один безплатний бал як вирок означає вимагати від цього бала більшого, ніж заявляє компанія, яка його видає.

Для чого оцінка є справді корисною, так це для вужчої і буденнішої мети: швидкого, безкоштовного ознайомлення з тим, де наразі перебуває чернетка за тим самим типом статистичного вимірювання, який також виконує платний інституційний інструмент, ще до того, як її побачить хтось інший. Безкоштовні інструменти TextPulse безпосередньо охоплюють ту саму сферу, не змушуючи автора вгадувати, якому з кількох безкоштовних детекторів довіряти насамперед.

Показники точності приховують, на кого припадають помилки і що їх спричиняє. Знання коли вживати a, an і the усуває одну з моделей, що викликає позначку, а що насправді означає хибнопозитивний результат викладено окремо.

Усе це не робить число ZeroGPT беззмістовним, і все це не робить це число достатнім саме по собі. Оцінка є початковою приблизною величиною, отриманою методом, який компанія описує лише в загальних рисах і не відкрила для зовнішнього тестування, на тексті, чий жанр сам по собі може змінити результат ще до того, як хтось із причетних зробив щось неправильно. Два слова, що несуть найбільше інформації на тій сторінці FAQ, це не відсоток. Це застереження, що стоять просто поруч із ним: internal, і pushing toward. Безкоштовна оцінка є відправною точкою для розмови про чернетку, а не завершальним аргументом у ній.

Що показало наше власне дослідження

У дослідженні узгодженості детекторів TextPulse Research дев'ять комерційних ШІ-детекторів оцінили ті самі 90 академічних текстів. Один із них був гібридним текстом на 455 слів: написані людиною вступ і завершення навколо згенерованої ШІ середньої частини на 168 слів. ZeroGPT оцінив цей текст у 7.6% ШІ, тоді як вердикти інших інструментів щодо тих самих слів розійшлися від 0% до 95.7% ШІ. Повна стаття, корпус і матриця оцінок кожного інструмента відкрито доступні на TextPulse Research.