Turnitin hasonlósági pontszám vs AI pontszám: két külön jelentés

Egy jelentésen két szám szerepel: 3 százalékos hasonlósági pontszám és 88 százalékos AI pontszám. A természetes értelmezés az, hogy ezeknek ugyanazt kell mérniük, ezért az alacsony számnak azt kellene jelentenie, hogy a magas szám is valószínűleg hibás. Ez azonban nem így működik. A Turnitin similarity vs AI score két külön rendszer összehasonlítása, amelyek két külön dolgot ellenőriznek, és egy beküldés az egyikben alacsony, a másikban magas pontszámot érhet el anélkül, hogy bármelyik szám tévedés lenne.

Ez régebbi, mint az AI pontszám, és arra készült, hogy olyan szöveget találjon, amely már létezik. Az újabb, ugyanabba a Similarity Reportba beépített, önálló mérésként hozzáadott funkció arra készült, hogy megbecsülje, a próza gép által generáltnak olvasható-e, függetlenül attól, hogy bármihez egyáltalán illeszkedik-e. A Turnitin saját dokumentációja szerint teljesen függetlenek egymástól, és nem befolyásolják egymást. Minden más ebben az írásban.

Turnitin Similarity vs AI Score: Mit jelent az egyes számok?

Turnitin a kettőt külön mérésként kezeli, amelyeket egyetlen termékbe csomagol, nem pedig egy eredmény két nézeteként. A Similarity Report egy benyújtott dolgozatot hasonlít össze webes tartalmak, tudományos publikációk és korábban benyújtott hallgatói dolgozatok adatbázisával, és visszaadja a benyújtás szövegének azt a százalékát, amely megegyezik valamivel, ami már szerepel ebben az adatbázisban. Az AI írásészlelés egy teljesen más modellt futtat, amely ugyanebbe a jelentésbe saját, önálló pontszámként van beépítve, és arra van betanítva, hogy megítélje, mennyire hasonlít egy szakasz prózája a gép által generált íráshoz, mindenféle külső adatbázisra való hivatkozás nélkül. A hogyan jut el Turnitin AI osztályozója ehhez a számhoz című részletesebb működés külön tárgyalásra kerül, itt az a lényeg, hogy más kérdésre válaszol, mint az ugyanabban a jelentésben működő hasonlósági motor.

Mit mér valójában a Similarity Score

A hasonlóság egyeztetési gyakorlat, nem ítélet. Turnitin saját útmutatása egyértelműen kimondja, hogy az eszköz nem ellenőrzi a plágiumot. Az átfedést ellenőrzi, és az értelmezést a jelentést olvasó oktatóra bízza. Egy helyesen elkülönített idézet, egy módszertani részben szereplő kifejezés, amely az egész szakterületen közös, egy hivatkozáslista, amely ugyanúgy van formázva, ahogyan a folyóirat minden dolgozatban formázza a hivatkozáslistát, mindez egyezésként jelenhet meg, mert a rendszer az átfedő szövegsorozatokat számolja, nem pedig azt ítéli meg, hogy az átfedés jogos-e.

Ezért is bizonyít kevesebbet a nullás hasonlósági pontszám, mint amennyinek látszik. Azt jelenti, hogy a beküldött szövegben nincs olyan hosszú, megszakítás nélküli szövegrész, amely máshol megtalálható lenne a Turnitin indexelt forrásai között. Arról semmit sem mond, hogy az ott szereplő mondatok hogyan készültek, mert egy olyan mondat előállítása, amely semmivel sem egyezik egy adatbázisban, nem ugyanaz a készség, mint egy olyan mondat előállítása, amelyet egy nyelvi modell nem jósolt volna meg.

Mit mér valójában az AI Score

Az AI score-hoz nincs olyan adatbázis, amelyhez viszonyítani lehetne. Egy osztályozó elolvassa a beküldött prózát, és a humán és AI által generált írás példáin tanult mintázatok alapján megbecsüli, mennyire valószínű, hogy az a próza inkább egy modelltől származik, mint egy embertől. Ebben a becslésben semmi sem függ attól, hogy a pontos mondat valaha megjelent-e bárhol korábban. Egy mondat lehet teljesen egyedi, lehet, hogy senki sem írta le ezt a beküldésig, és mégis statisztikailag tipikus AI-kimenetnek tűnhet, ha a szóválasztása és ritmusa követi azt a mintát, amelyet egy nyelvi modell általában előállít.

Ez ugyanaz a statisztikai terület, amelyet teljes egészében lefed a hogyan működnek valójában az AI detektorok tágabb ismertetése is: a szószintű előrejelezhetőség és a mondatszintű ritmus, egyetlen dokumentumpontszámmá összesítve. A Turnitin ennek az osztályozónak a változata szabadalmaztatott, de az alapfeltevés, vagyis hogy a generált szöveg statisztikailag tipikusabbnak szokott lenni, mint az emberi írás, ugyanaz, amely minden ilyen eszköz mögött működik.

	Hasonlósági pontszám	AI pontszám
Mit mér	Az, hogy a benyújtott szöveg mekkora része egyezik más indexelt dokumentumokkal	Az, hogy a próza mennyire hasonlít statisztikailag tipikus AI által generált íráshoz
Mi vált ki magas értéket	Hosszú idézetek, az adott szakterületre jellemző gyakori fordulatok, újrahasznált anyag, vagy egyezés egy korábbi benyújtással	Egységes mondatrhythmus és következetesen kiszámítható szóválasztás az egész dokumentumban
Mit nem bizonyít a magas érték	Hogy az egyező szöveget helytelenül használták fel. A szabályosan hivatkozott anyag is mutathat egyezést.	Hogy bármely egyetlen mondatot AI generált. Az osztályozó a dokumentum összesített mintázatát olvassa, nem egy sort elszigetelten.

Lehet-e egy dolgozatnak 0 Percent hasonlósága és 90 Percent AI pontszáma?

Igen, és ez a kombináció nem hiba. A két pontszám különböző kérdésekre ad választ, ezért a magas és alacsony értékek mind a négy kombinációja lehetséges, és mindegyik valami mást jelez arról, hogyan készült a szöveg.

• Alacsony hasonlóság, alacsony AI pontszám: szokásos, eredeti írás, amely emellett a tipikus emberi változatossággal is olvasható. Ez a legtöbb valódi hallgatói munka gyakori esete.
• Alacsony hasonlóság, magas AI pontszám: eredeti mondatok, amelyek nem másoltak sehonnan, mégis statisztikailag kiszámíthatónak olvashatók, ahogyan a generált szöveg szokott. A szerkesztetlen AI írás jele, amelyet senki sem parafrazált meglévő forrásból.
• Magas hasonlóság, alacsony AI pontszám: olyan szöveg, amely szorosan egyezik egy meglévő, ember által írt forrással, anélkül a statisztikai egyformaság nélkül, amelyet az osztályozó a generáláshoz társít. Másolt szöveg, amelyet a régebbi eszköz fogott meg, nem az újabb.
• Magas hasonlóság, magas AI pontszám: olyan szöveg, amely egy meglévő forrással egyezik, és maga a forrás is AI által generált volt, például egy korábban benyújtott, AI által írt dolgozat vagy egy AI által előállított szöveges oldal, amelyet már indexelt az open web.

Ezek közül a kombinációk közül egyik sem igényel semmi szokatlant a szoftver oldalán. Abból a tényből következnek, hogy az egyik rendszer egyezést keres, a másik pedig mintázatot, és egy szövegrész hordozhatja bármelyik tulajdonságot, mindkettőt vagy egyiket sem.

Mit bizonyít, és mit nem bizonyít egy magas AI Score

Egy magas AI Score statisztikai becslés, nem pedig a szövegből kicsikart beismerés. Azt mondja, hogy a besoroló előtt álló próza a szóválasztásában és ritmusában hasonlít ahhoz az írástípushoz, amelyet a modell arra tanult, hogy az AI-generálással társítsa. Nem azonosít egyetlen mondatot sem biztosan gép által írtként, és semmit sem tud arról, hogy a dokumentumot valójában hogyan állították elő, csak arról, hogyan olvasható, miután elkészült. A TextPulse ugyanezt az álláspontot képviseli a saját számaival kapcsolatban: amit közöl, az a vele szemben álló szövegből kiszámított becsült Human Score, nem pedig ítélet arról, hogy melyik eszköz, ha egyáltalán bármelyik, érintette a dokumentumot.

Mindkét számra, az alacsony hasonlósági score-ra vagy a magas AI Score-ra, ugyanaz a gyakorlati válasz: úgy kell kezelni, mint okot a közelebbi vizsgálatra, nem pedig mint olyan megállapítást, amelyet első pillantásra el kell fogadni vagy el kell vetni. A vázlatok, jegyzetek és verziótörténet olyan módon tanúskodnak arról, hogy egy dokumentumot valójában hogyan írtak meg, ahogyan ezt egyik százalék sem tudja megtenni, egyik jelentésben sem. Aki kíváncsi arra, hogy egy besoroló valójában mire reagál a saját vázlatában, ugyanezt a szószintű mintázatot maga is láthatja egy ingyenes perplexity checker segítségével, jóval azelőtt, hogy bármilyen jelentés elkészülne.

A TextPulse ingyenes eszközkészlete a többi statisztikai réteget is lefedi, amelyeket érdemes ellenőrizni, mielőtt egy vázlat egyáltalán közel kerülne egy oktatóhoz, nem csupán az itt összehasonlított kettőt.

Miután a két számot elkülönítettük, a következő kérdés az, hogy mi számít jó Turnitin score-nak. A másik detektor esetében, amellyel a hallgatók a leggyakrabban találkoznak, a hogyan működik a GPTZero külön oldalon van bemutatva.

A két szám továbbra is egymás mellett fog szerepelni ugyanabban a jelentésben, és a siető emberek továbbra is egyetlen számként fogják őket olvasni. Annak ismerete, hogy melyik szám valójában melyik kérdésre válaszol, az, ami a zavaró százalékpárt két különálló, hasznos információdarabbá alakítja.