Turnitin Similarity Score vs AI Score: Dva různé reporty

Zpráva přichází se dvěma čísly: skóre podobnosti 3 procenta a AI skóre 88 procent. Přirozený výklad je, že musí měřit tutéž věc, takže nízké číslo by mělo znamenat, že i to vysoké je pravděpodobně chybné. Tak to ale nefunguje. Turnitin similarity vs AI score je srovnání dvou oddělených systémů, které kontrolují dvě odlišné věci, a odevzdaný text může mít nízké skóre v jednom a vysoké ve druhém, aniž by bylo kterékoliv z těchto čísel omylem.

Je starší než ten AI, byl vytvořen k zachycení textu, který se shoduje s něčím, co už existuje. Je novější, přidán do stejné Similarity Report jako samostatné nezávislé měření, vytvořené k odhadu, zda próza působí jako strojově generovaná, bez ohledu na to, zda se s něčím vůbec shoduje. Podle vlastní dokumentace Turnitin jsou zcela nezávislé a navzájem se neovlivňují. Všechno ostatní v tomto textu.

Turnitin Similarity vs AI Score: Co každý údaj uvádí

Turnitin chápe tyto dva údaje jako odlišná měření spojená do jednoho produktu, nikoli jako dva pohledy na jeden výsledek. Similarity Report porovnává odevzdaný text s databází webového obsahu, akademických publikací a dříve odevzdaných studentských prací a vrací procento textu v odevzdání, které se shoduje s něčím již obsaženým v této databázi. Detekce AI writing používá zcela jiný model, přidaný do téže zprávy jako vlastní nezávislé skóre, model natrénovaný k posouzení, jak blízko se próza určité pasáže podobá strojově generovanému psaní, bez jakéhokoli odkazu na externí databázi. Podrobnější mechanismus jak Turnitinův klasifikátor AI dospívá k tomuto číslu je popsán samostatně, zde je podstatné, že odpovídá na jinou otázku než engine pro podobnost, který je součástí téže zprávy.

Co Similarity Score ve skutečnosti měří

Similarity je úloha porovnávání, nikoli soud. Vlastní pokyny Turnitin výslovně uvádějí, že nástroj nekontroluje plagiátorství. Kontroluje překryv a výklad ponechává vyučujícímu, který zprávu čte. Správně vyznačený citát, fráze z metodické části sdílená napříč celým podoborem, seznam literatury naformátovaný stejně, jako je seznam literatury naformátován v každé práci v daném časopise, to vše se může zaznamenat jako shoda, protože systém počítá překrývající se řetězce textu, nikoli posuzuje, zda je tento překryv legitimní.

To je také důvod, proč skóre podobnosti rovné nule prokazuje méně, než se zdá. Znamená to, že odevzdaný text neobsahuje žádný dlouhý, nepřerušený úsek textu nalezený jinde ve zdrojích indexovaných Turnitin. Nevypovídá to nic o tom, jak byly vytvořeny věty, které v něm jsou, protože vytvořit větu, která se s ničím v databázi neshoduje, není tatáž dovednost jako vytvořit větu, kterou by jazykový model nepředpověděl.

Co AI Score ve skutečnosti měří

AI score nemá žádnou databázi, proti níž by se dalo ověřovat. Klasifikátor čte odevzdaný text a na základě vzorců, které se naučil z příkladů lidského psaní a psaní generovaného AI, odhaduje, jak pravděpodobné je, že tento text pochází spíše z modelu než od člověka. Na tomto odhadu nezáleží na tom, zda se přesná věta někdy dříve objevila kdekoli jinde. Věta může být zcela jedinečná, nikým nikdy předtím napsaná až do tohoto odevzdání, a přesto může statisticky působit jako typický výstup AI, pokud její volba slov a rytmus odpovídají vzorci, který jazykový model obvykle vytváří.

To je tatáž statistická oblast, kterou v plném rozsahu pokrývá širší výklad jak AI detektory ve skutečnosti fungují: předvídatelnost na úrovni slov a rytmus na úrovni vět, sloučené do jediného skóre dokumentu. Verze tohoto klasifikátoru od Turnitin je proprietární, ale základní premisa, že generovaný text bývá statisticky typičtější než lidské psaní, je tatáž, která stojí v pozadí každého nástroje v této kategorii.

	Skóre podobnosti	Skóre AI
Co měří	Jak velká část textu odevzdané práce se shoduje s jinými indexovanými dokumenty	Jak blízce próza připomíná statisticky typické psaní generované AI
Co spouští vysoké číslo	Dlouhé citace, běžné formulace specifické pro obor, znovu použité materiály nebo shoda s dřívějším odevzdáním	Jednotný rytmus vět a konzistentně předvídatelná volba slov v celém dokumentu
Co vysoké číslo neprokazuje	Že byl shodný text použit nevhodně. Správně citovaný materiál se může stále zaznamenat jako shoda.	Že kterákoli jednotlivá věta byla vygenerována AI. Klasifikátor čte celkový vzorec dokumentu, ne jeden řádek izolovaně.

Může mít práce 0 Percent Similarity a 90 Percent AI Score?

Ano, a tato kombinace není závada. Obě skóre odpovídají na různé otázky, takže jsou možné všechny čtyři kombinace vysokých a nízkých hodnot a každá z nich naznačuje něco jiného o tom, jak byl text vytvořen.

• Nízká podobnost, nízké skóre AI, běžné původní psaní, které se zároveň čte s typickou lidskou variabilitou. Obvyklý případ většiny skutečných studentských prací.
• Nízká podobnost, vysoké skóre AI, původní věty, nikoli zkopírované odjinud, které se čtou jako statisticky předvídatelné způsobem, jakým bývá generovaný text. Známka neupraveného psaní AI, které nikdo neparafrázoval z existujícího zdroje.
• Vysoká podobnost, nízké skóre AI, text, který se těsně shoduje s existujícím lidsky napsaným zdrojem, bez statistické plochosti, kterou klasifikátor spojuje s generováním. Zkopírovaný text, zachycený starším nástrojem, nikoli novějším.
• Vysoká podobnost, vysoké skóre AI, text, který se shoduje s existujícím zdrojem, jenž byl sám generován AI, například dříve odevzdaná práce napsaná AI nebo stránka textu vytvořeného AI, již byla indexována z otevřeného webu.

Žádná z těchto kombinací nevyžaduje na straně softwaru nic neobvyklého. Vyplývají ze skutečnosti, že jeden systém kontroluje shodu a druhý kontroluje vzor, a kus textu může nést kteroukoli z těchto vlastností, obě, nebo žádnou.

Co vysoké AI Score prokazuje a co neprokazuje

Vysoké AI Score je statistický odhad, nikoli přiznání získané z textu. Říká, že próza před klasifikátorem se svými volbami slov a rytmem podobá druhu psaní, který byl model naučen spojovat s generováním pomocí AI. Neidentifikuje žádnou konkrétní větu jako jistě strojově napsanou a neví nic o tom, jak byl dokument skutečně vytvořen, pouze o tom, jak působí po dokončení. TextPulse zaujímá stejný postoj ke svým vlastním číslům, to, co uvádí, je odhadované Human Score vypočtené z textu před ním, nikoli verdikt o tom, který nástroj, pokud vůbec nějaký, se dokumentu dotkl.

Praktická reakce na kterékoli z těchto čísel, nízké similarity score nebo vysoké AI Score, je stejná, považovat je za důvod k bližšímu zkoumání, nikoli za zjištění, které je třeba na první pohled přijmout nebo odmítnout. Návrhy, poznámky a historie verzí vypovídají o tom, jak byl dokument skutečně napsán, způsobem, jakým to procento nikdy nedokáže, v žádné z těchto zpráv. Každý, kdo chce vědět, na co klasifikátor ve vlastním návrhu skutečně reaguje, může stejný vzor na úrovni slov vidět sám pomocí free perplexity checker, ještě předtím, než se vygeneruje jakákoli zpráva.

free tools collection od TextPulse pokrývá i další statistické vrstvy, které stojí za kontrolu, než se návrh dostane k vyučujícímu, nejen ty dvě, které jsou zde porovnávány.

Jakmile jsou tato dvě čísla oddělena, další otázka zní co se považuje za dobré Turnitin score. U dalšího detektoru, se kterým se studenti setkávají nejčastěji, je jak GPTZero funguje popsáno na samostatné stránce.

Ta dvě čísla budou dál stát vedle sebe ve stejné zprávě a lidé ve spěchu je budou dál číst jako jedno číslo. Vědět, na kterou otázku každé z nich ve skutečnosti odpovídá, je to, co promění matoucí dvojici procent na dva oddělené, užitečné údaje.