Turnitin Similarity Score vs AI Score: Два різні звіти
Показник подібності та AI score відповідають на різні запитання, тому робота може мати низький бал за одним і високий за іншим, і жоден із цих показників не буде хибним. Що саме вимірює кожен, що його запускає, і що високий бал доводить, а що ні.
Звіт містить два числа: показник схожості 3 percent і AI score 88 percent. Природне прочитання полягає в тому, що вони мають вимірювати одне й те саме, тож низьке число повинно означати, що високе число, ймовірно, теж хибне. Але це не так працює. Turnitin similarity vs AI score, це порівняння між двома окремими системами, які перевіряють дві окремі речі, і подання може мати низький показник в одній системі та високий в іншій, без того щоб будь-яке з чисел було помилкою.
Це старіше за AI one, створене для виявлення тексту, що збігається з чимось, що вже існує. Це новіше, додане до того самого Similarity Report як власне незалежне вимірювання, створене для оцінювання того, чи прозa читається як згенерована машиною, незалежно від того, чи збігається вона з чимось узагалі. Згідно з власною документацією Turnitin, вони повністю незалежні й не впливають одне на одне. Усе інше в цій статті.
Turnitin Similarity vs AI Score: Що повідомляє кожне число
Turnitin розглядає ці два показники як різні вимірювання, об'єднані в один продукт, а не як два погляди на один результат. Similarity Report порівнює подання з базою даних вебконтенту, академічних публікацій і раніше поданих студентських робіт, та повертає відсоток тексту подання, який збігається з чимось, що вже є в цій базі даних. Виявлення AI writing працює на зовсім іншій моделі, доданій до того самого звіту як власний незалежний показник, модель навчають оцінювати, наскільки прозa уривка схожа на машинно згенероване письмо, без будь-якого звернення до зовнішньої бази даних. Повніший механізм того, як AI classifier Turnitin доходить до цього числа, розглянуто окремо, тут важливо те, що він відповідає на інше запитання, ніж engine схожості, що міститься в тому самому звіті.
Що насправді вимірює показник схожості
Подібність, це зіставлення, а не судження. Власні настанови Turnitin прямо вказують, що інструмент не перевіряє на плагіат. Він перевіряє на збіг і залишає інтерпретацію викладачеві, який читає звіт. Цитата, правильно виділена, фраза з розділу методів, спільна для цілого підполя, список літератури, оформлений так, як кожна стаття в журналі оформлює свій список літератури, усе це може бути зафіксовано як збіг, тому що система рахує перекривні послідовності тексту, а не оцінює, чи є це перекриття правомірним.
Саме тому й показник подібності, що дорівнює нулю, доводить менше, ніж здається. Це означає, що подання не містить жодного довгого, безперервного фрагмента тексту, знайденого в інших індексованих джерелах Turnitin. Це нічого не говорить про те, як були створені наявні там речення, тому що створити речення, яке не збігається ні з чим у базі даних, це не те саме, що створити речення, яке мовна модель не передбачила б.
Гуманізуйте свою власну статтю
Перетворіть текст, створений за допомогою AI, і зробіть його природним, не змінюючи важливих слів або цитат.
Що насправді вимірює AI Score
AI score не має бази даних, з якою можна було б його звірити. Класифікатор читає поданий текст і оцінює, на основі закономірностей, які він засвоїв на прикладах людського та згенерованого AI письма, наскільки ймовірно, що цей текст походить від моделі, а не від людини. У цій оцінці немає нічого, що залежало б від того, чи з'являлося колись точне речення десь раніше. Речення може бути цілком унікальним, його ніхто ніколи не вводив до цього подання, і все одно воно може виглядати статистично типовим для AI-виводу, якщо вибір слів і ритм відповідають шаблону, який зазвичай продукує мовна модель.
Це та сама статистична сфера, яку повністю охоплено в ширшому поясненні як AI detectors actually work: передбачуваність на рівні слів і ритм на рівні речень, зведені в один показник документа. Версія цього класифікатора в Turnitin є пропрієтарною, але базова передумова, що згенерований текст, як правило, статистично типовіший за людське письмо, є тією самою, що лежить в основі кожного інструмента в цій категорії.
| Оцінка схожості | Оцінка AI | |
|---|---|---|
| Що вона вимірює | Яка частина тексту подання збігається з іншими проіндексованими документами | Наскільки проза нагадує статистично типовий текст, згенерований AI |
| Що спричиняє високе значення | Довгі цитати, поширені для цієї галузі формулювання, повторно використаний матеріал або збіг із попереднім поданням | Однорідний ритм речень і послідовно передбачуваний добір слів у всьому документі |
| Що високе значення не доводить | Що зіставлений текст було використано неналежним чином. Належно процитований матеріал усе одно може бути позначений як збіг. | Що будь-яке окреме речення було згенеровано AI. Класифікатор читає загальний шаблон документа, а не один рядок ізольовано. |
Чи може стаття мати 0 Percent схожості та 90 Percent оцінки AI?
Так, і така комбінація не є збоєм. Ці дві оцінки відповідають на різні запитання, тому можливі всі чотири комбінації високих і низьких значень, і кожна з них означає щось інше про те, як було створено текст.
- Низька схожість, низька оцінка AI: звичайне оригінальне письмо, яке також читається з типовою людською варіативністю. Поширений випадок для більшості справжніх студентських робіт.
- Низька схожість, висока оцінка AI: оригінальні речення, не скопійовані звідкись, які читаються як статистично передбачувані так, як це властиво згенерованому тексту. Ознака не відредагованого AI-письма, яке ніхто не перефразовував із наявного джерела.
- Висока схожість, низька оцінка AI: текст, що близько збігається з наявним людським джерелом, без статистичної пласкості, яку класифікатор пов'язує з генерацією. Скопійований текст, виявлений старішим інструментом, а не новішим.
- Висока схожість, висока оцінка AI: текст, що збігається з наявним джерелом, яке саме було згенероване AI, наприклад раніше поданою роботою, написаною AI, або сторінкою тексту, створеного AI, уже проіндексованою з відкритої мережі.
Жодна з цих комбінацій не потребує нічого незвичного з боку програмного забезпечення. Вони випливають із того факту, що одна система перевіряє на збіг, а інша перевіряє на шаблон, і фрагмент тексту може мати будь-яку з цих властивостей, обидві або жодної.
Що високий AI Score доводить, а що не доводить
Високий AI Score є статистичною оцінкою, а не зізнанням, витягнутим із тексту. Він означає, що проза перед класифікатором за своїм добором слів і ритмом нагадує той тип письма, який модель навчали пов'язувати з генерацією AI. Він не ідентифікує конкретне речення як безумовно машинно написане, і він нічого не знає про те, як документ було фактично створено, лише про те, як він читається після завершення. TextPulse займає таку саму позицію щодо власних чисел: те, що він повідомляє, є оціненим Human Score, обчисленим із тексту перед ним, а не вердиктом про те, який інструмент, якщо такий був, торкнувся документа.
Практична реакція на будь-яке з цих чисел, низький similarity score або високий AI Score, є однаковою: сприймати його як підставу придивитися уважніше, а не як висновок, який слід прийняти або відкинути з першого погляду. Чернетки, нотатки та історія версій свідчать про те, як документ було фактично написано, так, як це ніколи не може зробити відсоток, у будь-якому звіті. Кожен, кому цікаво, на що саме реагує класифікатор у власній чернетці, може побачити той самий шаблон на рівні слів за допомогою free perplexity checker, задовго до того, як буде згенеровано будь-який звіт.
Колекція free tools collection від TextPulse охоплює інші статистичні шари, які варто перевірити, перш ніж чернетка потрапить до викладача, а не лише два, що порівнюються тут.
Після того як два числа розділено, наступне питання полягає в тому, що вважається хорошим Turnitin score. Для іншого детектора, з яким студенти стикаються найчастіше, як працює GPTZero розглянуто на окремій сторінці.
Два числа й надалі стоятимуть поруч в одному й тому самому звіті, і люди, які поспішають, й надалі сприйматимуть їх як одне число. Розуміння того, на яке саме запитання відповідає кожне з них, перетворює заплутану пару відсотків на два окремі, корисні фрагменти інформації.
Часті запитання
Turnitin similarity vs AI score зводиться до того, що перевіряє кожен із них. Показник подібності повідомляє, яка частина подання збігається з текстом, уже наявним у базі даних Turnitin, що містить вебсторінки, публікації та попередні студентські роботи. AI score є окремим, незалежним вимірюванням, яке оцінює, наскільки проза читається як згенерована машиною, без будь-якого звернення до бази даних. Власна документація Turnitin прямо зазначає, що ці два показники не впливають один на одного.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
