Turnitin Similarity Score vs AI Score: Dva různé reporty

Zpráva obsahuje dvě čísla, skóre podobnosti 3 procenta a AI skóre 88 procent. Přirozený výklad je, že musí měřit totéž, takže nízké číslo by mělo znamenat, že i vysoké číslo je pravděpodobně chybné. Takto to nefunguje. Turnitin similarity vs AI score je srovnání dvou oddělených systémů, které kontrolují dvě odlišné věci, a odevzdaný text může mít nízké skóre v jednom a vysoké v druhém, aniž by bylo kterékoliv z těchto čísel chybou.

Je starší než ten AI, byl vytvořen k zachycení textu, který se shoduje s něčím, co už existuje. Je novější, přidán do stejné Similarity Report jako vlastní nezávislé měření, vytvořen k odhadu, zda próza působí jako strojově generovaná, bez ohledu na to, zda se s něčím vůbec shoduje. Podle vlastní dokumentace Turnitin jsou zcela nezávislé a navzájem se neovlivňují. Vše ostatní v tomto textu.

Turnitin Similarity vs AI Score: Co každé číslo uvádí

Turnitin zachází s těmito dvěma údaji jako s odlišnými měřeními zabalenými do jednoho produktu, nikoli jako se dvěma pohledy na jeden výsledek. Similarity Report porovnává odevzdaný text s databází webového obsahu, akademických publikací a dříve odevzdaných studentských prací a vrací procento textu odevzdaného dokumentu, které se shoduje s něčím, co už je v této databázi. Detekce AI psaní používá zcela jiný model, přidaný do téže zprávy jako vlastní nezávislé skóre, model vycvičený k posouzení, jak blízko próza určité pasáže připomíná strojově generované psaní, bez jakéhokoli odkazu na externí databázi. Podrobnější mechanismus jak AI klasifikátor Turnitin dospívá k tomuto číslu je popsán samostatně, zde je podstatné, že odpovídá na jinou otázku než engine podobnosti umístěný ve stejné zprávě.

Co skóre podobnosti skutečně měří

Podobnost je úloha shody, nikoli úsudek. Vlastní pokyny Turnitin výslovně uvádějí, že tento nástroj nekontroluje plagiátorství. Kontroluje překryv a ponechává interpretaci na vyučujícím, který čte zprávu. Citace správně vyčleněná uvozovkami, fráze z metodické části sdílená napříč celým podoborem, seznam literatury naformátovaný tak, jak každý článek v daném časopise formátuje svůj seznam literatury, to vše se může zaznamenat jako shoda, protože systém počítá překrývající se řetězce textu, místo aby posuzoval, zda je překryv legitimní.

To je také důvod, proč skóre podobnosti nula vypovídá méně, než se zdá. Znamená to, že odevzdaný text neobsahuje žádný dlouhý, souvislý úsek textu nalezený jinde ve zdrojích indexovaných Turnitin. Neříká to nic o tom, jak byly vytvořeny věty, které v textu jsou, protože vytvořit větu, která se neshoduje s ničím v databázi, není totéž jako vytvořit větu, kterou by jazykový model nepředpověděl.

Co AI Score ve skutečnosti měří

AI score nemá žádnou databázi, proti níž by se kontrolovalo. Klasifikátor čte odevzdaný text a na základě vzorců, které se naučil z příkladů lidského a AI generovaného psaní, odhaduje, jak pravděpodobné je, že tento text pochází spíše z modelu než od člověka. Na tomto odhadu nezávisí nic na tom, zda se přesná věta někdy objevila jinde dříve. Věta může být zcela jedinečná, nikým nikdy předtím nepsaná, a přesto může být statisticky typická pro výstup AI, pokud její volba slov a rytmus odpovídají vzorci, který jazykový model obvykle vytváří.

To je tatáž statistická oblast, která je plně popsána v širším výkladu o jak AI detektory ve skutečnosti fungují: předvídatelnost na úrovni slov a rytmus na úrovni vět, sloučené do jediného skóre dokumentu. Verze tohoto klasifikátoru od Turnitin je proprietární, ale základní premisa, že generovaný text bývá statisticky typičtější než lidské psaní, je tatáž, která stojí v pozadí každého nástroje v této kategorii.

	Skóre podobnosti	Skóre AI
Co měří	Jak velká část textu odevzdané práce se shoduje s jinými indexovanými dokumenty	Jak blízce próza připomíná statisticky typické psaní generované AI
Co spouští vysoké číslo	Dlouhé citace, běžné formulace specifické pro obor, znovu použité pasáže nebo shoda s dřívějším odevzdáním	Jednotný rytmus vět a důsledně předvídatelná volba slov v celém dokumentu
Co vysoké číslo neprokazuje	Že shodný text byl použit nevhodně. Správně citovaný materiál se stále může zaznamenat jako shoda.	Že kterákoli jednotlivá věta byla vygenerována AI. Klasifikátor čte celkový vzorec dokumentu, ne jeden řádek izolovaně.

Může mít práce 0 Percent podobnosti a 90 Percent skóre AI?

Ano, a tato kombinace není závada. Obě skóre odpovídají na odlišné otázky, takže jsou možné všechny čtyři kombinace vysokých a nízkých hodnot a každá z nich naznačuje něco jiného o tom, jak byl text vytvořen.

• Nízká podobnost, nízké skóre AI: běžné původní psaní, které zároveň působí s typickou lidskou variabilitou. Obvyklý případ většiny skutečných studentských prací.
• Nízká podobnost, vysoké skóre AI: původní věty, nikoli zkopírované odnikud, které působí statisticky předvídatelně, jak to generovaný text obvykle dělá. Známka neupraveného psaní AI, z něhož nikdo neparafrázoval z existujícího zdroje.
• Vysoká podobnost, nízké skóre AI: text, který se těsně shoduje s existujícím lidsky napsaným zdrojem, bez statistické plochosti, kterou klasifikátor spojuje s generováním. Zkopírovaný text, zachycený starším nástrojem, nikoli novějším.
• Vysoká podobnost, vysoké skóre AI: text, který se shoduje s existujícím zdrojem, jenž byl sám generován AI, například dříve odevzdaná práce napsaná AI nebo stránka textu vytvořeného AI, která už byla indexována z otevřeného webu.

Žádná z těchto kombinací nevyžaduje na straně softwaru nic neobvyklého. Vyplývají ze skutečnosti, že jeden systém kontroluje shodu a druhý kontroluje vzor, a kus textu může nést kteroukoli z těchto vlastností, obě, nebo žádnou.

Co vysoké AI skóre dokazuje, a co nedokazuje

Vysoké AI skóre je statistický odhad, nikoli přiznání vytažené z textu. Říká, že próza před klasifikátorem se svými volbami slov a rytmem podobá druhu psaní, který byl model trénován spojovat s generováním pomocí AI. Neidentifikuje žádnou konkrétní větu jako jistě strojově napsanou a neví nic o tom, jak byl dokument skutečně vytvořen, pouze jak působí po dokončení. TextPulse zaujímá stejný postoj ke svým vlastním číslům, to, co uvádí, je odhadované Human Score vypočtené z textu před ním, nikoli verdikt o tom, který nástroj, pokud vůbec nějaký, se dokumentu dotkl.

Praktická reakce na kterékoli z těchto čísel, nízké similarity score nebo vysoké AI skóre, je stejná, považujte je za důvod podívat se blíže, nikoli za zjištění, které je třeba na první pohled přijmout nebo odmítnout. Návrhy, poznámky a historie verzí vypovídají o tom, jak byl dokument skutečně napsán, způsobem, jakým to žádné procento nikdy nedokáže, ani v jedné zprávě. Kdokoli je zvědavý, na co klasifikátor ve svém vlastním návrhu skutečně reaguje, může stejný vzor na úrovni slov vidět sám pomocí free perplexity checker, dávno předtím, než se vygeneruje jakákoli zpráva.

TextPulse's free tools collection pokrývá i další statistické vrstvy, které stojí za kontrolu, než se návrh dostane kamkoli blízko vyučujícího, nejen ty dvě, které jsou zde porovnávány.

Jakmile jsou tato dvě čísla oddělena, další otázka zní co se považuje za dobré Turnitin skóre. U dalšího detektoru, se kterým se studenti setkávají nejčastěji, je jak GPTZero funguje popsáno na samostatné stránce.

Tyto dvě čísla budou dál stát vedle sebe ve stejné zprávě a lidé ve spěchu je budou dál číst jako jedno číslo. Vědět, na kterou otázku každé z nich skutečně odpovídá, je to, co mění matoucí dvojici procent na dva samostatné, užitečné údaje.