Turnitin hasonlósági pontszám vs AI pontszám: Két külön jelentés

Egy jelentés két számmal érkezik: 3 százalékos hasonlósági pontszámmal és 88 százalékos AI pontszámmal. A természetes értelmezés az, hogy ezeknek ugyanazt kell mérniük, ezért az alacsony számnak azt kellene jelentenie, hogy a magas szám is valószínűleg hibás. Ez azonban nem így működik. A Turnitin similarity vs AI score két külön rendszer összehasonlítása, amelyek két külön dolgot ellenőriznek, és egy beküldés az egyiken alacsony, a másikon magas pontszámot érhet el anélkül, hogy bármelyik szám tévedés lenne.

Ez régebbi, mint az AI alapú, és arra készült, hogy olyan szöveget találjon, amely már létező tartalommal egyezik. Ez újabb, ugyanabba a Similarity Reportba került be, mint saját, önálló mérés, és arra készült, hogy megbecsülje, a próza gép által generáltnak olvasható-e, függetlenül attól, hogy bármihez egyezik-e egyáltalán. A Turnitin saját dokumentációja szerint teljesen függetlenek egymástól, és nem befolyásolják egymást. Minden más ebben az írásban.

Turnitin Similarity vs AI Score: Mit jelent az egyes számok jelentése

A Turnitin a kettőt különböző mérésként kezeli, amelyeket egyetlen termékbe csomagolt, nem pedig egy eredmény két nézeteként. A Similarity Report a beküldött anyagot összeveti egy webes tartalmakból, tudományos publikációkból és korábban benyújtott hallgatói dolgozatokból álló adatbázissal, és visszaadja a beküldött szöveg azon százalékát, amely megegyezik valami olyannal, ami már szerepel ebben az adatbázisban. Az AI írásfelismerés egy teljesen más modellt futtat, amelyet ugyanebbe a jelentésbe építettek be saját, önálló pontszámként, és arra tanítottak, hogy megítélje, mennyire hasonlít egy szövegrész prózája a gép által generált íráshoz, mindenféle külső adatbázisra való hivatkozás nélkül. A hogyan jut el a Turnitin AI osztályozója ehhez a számhoz című részletesebb működés külön kerül tárgyalásra, itt az a lényeg, hogy ugyanabban a jelentésben ülő hasonlósági motorhoz képest más kérdésre ad választ.

Mit mér valójában a hasonlósági pontszám

A hasonlóság egyeztetési feladat, nem ítélet. A Turnitin saját útmutatása egyértelműen kimondja, hogy az eszköz nem ellenőrzi a plágiumot. Az átfedést vizsgálja, és az értelmezést az oktatóra bízza, aki elolvassa a jelentést. Egy helyesen elkülönített idézet, egy módszertani szakaszban szereplő kifejezés, amely az egész részterületen közös, egy hivatkozáslista, amely ugyanúgy van formázva, ahogyan a folyóirat minden cikke formázza a hivatkozáslistáját: mindez egyezésként jelenhet meg, mert a rendszer az átfedő szövegsorozatokat számolja, nem pedig azt ítéli meg, hogy az átfedés jogos-e.

Ez az oka annak is, hogy a nulla hasonlósági pontszám kevesebbet bizonyít, mint amennyinek látszik. Azt jelenti, hogy a beküldött szövegben nincs olyan hosszú, megszakítás nélküli szövegrész, amely máshol megtalálható lenne a Turnitin indexelt forrásaiban. Arról azonban semmit sem mond, hogy az ott szereplő mondatok hogyan készültek, mert egy olyan mondat előállítása, amely semmivel sem egyezik egy adatbázisban, nem ugyanaz a készség, mint egy olyan mondat előállítása, amelyet egy nyelvi modell nem jósolt volna meg.

Mit mér valójában az AI Score

Az AI score mögött nincs olyan adatbázis, amelyhez viszonyítani lehetne. Egy osztályozó elolvassa a beküldött prózát, és az emberi és AI által generált írás példáin tanult minták alapján megbecsüli, mennyire valószínű, hogy az a próza inkább egy modelltől származik, mint egy embertől. Ebben a becslésben semmi sem függ attól, hogy a pontos mondat valaha megjelent-e bárhol korábban. Egy mondat lehet teljesen egyedi, lehet, hogy senki sem írta le ezt a beküldésig, és mégis statisztikailag tipikus AI kimenetként olvasható, ha a szóválasztása és ritmusa követi azt a mintát, amelyet egy nyelvi modell általában előállít.

Ez ugyanaz a statisztikai terület, amelyet teljes egészében lefed a hogyan működnek valójában az AI detektorok tágabb leírása is: szószintű kiszámíthatóság és mondatszintű ritmus, egyetlen dokumentumpontszámmá összevonva. A Turnitin ennek az osztályozónak a változata saját fejlesztésű, de az alapfeltevés, vagyis hogy a generált szöveg statisztikailag tipikusabbnak szokott lenni, mint az emberi írás, ugyanaz, amely minden ilyen eszköz mögött működik.

	Hasonlósági pontszám	AI pontszám
Mit mér	Az elküldött szöveg mekkora része egyezik más indexelt dokumentumokkal	Mennyire hasonlít a próza statisztikailag tipikus AI által generált íráshoz
Mi vált ki magas értéket	Hosszú idézetek, gyakori, szakterületre jellemző fordulatok, újrahasznált anyag, vagy egyezés egy korábbi beküldéssel	Egységes mondatrhythmus és következetesen kiszámítható szóválasztás az egész dokumentumban
Mit nem bizonyít a magas érték	Hogy az egyező szöveget helytelenül használták fel. A helyesen hivatkozott anyag is mutathat egyezést.	Hogy bármelyik egyetlen mondatot AI generálta. Az osztályozó a dokumentum összképét olvassa, nem egy sort elszigetelten.

Lehet-e egy dolgozatnak 0 százalékos hasonlósága és 90 százalékos AI pontszáma?

Igen, és ez a kombináció nem hiba. A két pontszám különböző kérdésekre válaszol, ezért a magas és alacsony értékek mind a négy kombinációja lehetséges, és mindegyik mást jelez arról, hogyan készült a szöveg.

• Alacsony hasonlóság, alacsony AI pontszám: szokásos eredeti írás, amely ugyanakkor a tipikus emberi változatossággal olvasható. A legtöbb valódi hallgatói munka esetében ez a gyakori helyzet.
• Alacsony hasonlóság, magas AI pontszám: eredeti mondatok, amelyek nem másoltak sehonnan, mégis statisztikailag kiszámíthatónak olvashatók, ahogyan a generált szöveg szokott. A szerkesztetlen AI írás jele, amelyet senki sem parafrazált meglévő forrásból.
• Magas hasonlóság, alacsony AI pontszám: olyan szöveg, amely szorosan egyezik egy meglévő, ember által írt forrással, anélkül a statisztikai egyformaság nélkül, amelyet az osztályozó a generálással társít. Másolt szöveg, amelyet inkább a régebbi eszköz, mint az újabb fogott meg.
• Magas hasonlóság, magas AI pontszám: olyan szöveg, amely egy meglévő forrással egyezik, és maga a forrás is AI által generált volt, például egy korábban beküldött, AI által írt dolgozat vagy egy AI által előállított szövegoldal, amelyet már indexelt a nyílt web.

Ezek közül a kombinációk közül egyik sem igényel semmi szokatlant a szoftver oldalán. Abból következnek, hogy az egyik rendszer egyezést keres, a másik pedig mintázatot, és egy szövegrész hordozhatja bármelyik tulajdonságot, mindkettőt vagy egyiküket sem.

Mit bizonyít, és mit nem bizonyít egy magas AI pontszám

Egy magas AI pontszám statisztikai becslés, nem pedig a szövegből kicsikart beismerés. Azt mondja, hogy a besoroló előtt álló próza a szóválasztásában és ritmusában hasonlít arra az írásfajtára, amelyet a modell arra tanult, hogy az AI által generált szöveggel társítsa. Nem azonosít egyetlen mondatot sem biztosan gép által írtként, és semmit sem tud arról, hogy a dokumentum valójában hogyan készült, csak arról, hogyan olvasható, miután elkészült. TextPulse ugyanezt az álláspontot képviseli a saját számaival kapcsolatban: amit közöl, az a vele szemben álló szövegből kiszámított becsült Human Score, nem pedig ítélet arról, hogy melyik eszköz, ha egyáltalán bármelyik, érintette a dokumentumot.

Mindkét számra, egy alacsony hasonlósági pontszámra vagy egy magas AI pontszámra, ugyanaz a gyakorlati válasz: úgy kell kezelni, mint okot a közelebbi vizsgálatra, nem pedig mint olyan megállapítást, amelyet első pillantásra el kell fogadni vagy el kell vetni. A vázlatok, jegyzetek és verziótörténet olyan módon tanúskodnak arról, hogyan íródott valójában egy dokumentum, ahogyan ezt egy százalék soha nem tudja megtenni, egyik jelentésben sem. Aki kíváncsi arra, hogy egy besoroló valójában mire reagál a saját vázlatában, ugyanezt a szószintű mintázatot maga is láthatja egy ingyenes perplexity ellenőrzővel, jóval azelőtt, hogy bármilyen jelentés elkészülne.

TextPulse ingyenes eszközeinek gyűjteménye a többi olyan statisztikai réteget is lefedi, amelyeket érdemes ellenőrizni, mielőtt egy vázlat egyáltalán oktató közelébe kerülne, nem csupán az itt összehasonlított kettőt.

Miután a két számot elkülönítettük, a következő kérdés az, hogy mi számít jó Turnitin pontszámnak. A másik detektor esetében, amellyel a hallgatók a leggyakrabban találkoznak, a hogyan működik a GPTZero külön oldalon van tárgyalva.

A két szám továbbra is egymás mellett fog szerepelni ugyanabban a jelentésben, és a siető emberek továbbra is egyetlen számként fogják őket olvasni. Annak ismerete, hogy melyik szám valójában melyik kérdésre válaszol, az, ami a zavaró százalékpárt két különálló, hasznos információvá alakítja.