Hogyan észleli a Turnitin az AI-t, lépésről lépésre

A Turnitin jelentés egyetlen számot adhat vissza, mondjuk negyvenkét százalékot, és azon kívül szinte semmit nem mond arról, hogyan jutott el idáig, hacsak valaki nem keresi meg a mögötte álló mechanizmust. Ezt a számot nem a dokumentum egészéből olvassák le, és nem találgatás eredménye. Egy meghatározott, dokumentált folyamat végpontja, amely minden beküldésnél ugyanúgy fut le.

Tehát hogyan észleli a Turnitin az AI-t? Úgy, hogy egy beküldést részekre bont, ezeket külön-külön pontozza aszerint, hogy valószínűleg AI által generáltak-e, illetve AI által generáltak és aztán parafrazáltak-e, majd ezekből a pontszámokból átlagot számít, hogy meghatározza a jelentésen megjelenő összesített százalékos értéket. A folyamat minden szakaszát a Turnitin saját dokumentációja írja le, nem külső forrásból visszafejtve.

Ez kifejezetten a Turnitin AI írásészlelő funkciójára vonatkozik, amely külön rendszer a régebbi hasonlósági vagy plágiumellenőrzéstől, amely egy beküldést más dokumentumokkal hasonlít össze. Az alábbi működés a tágabb kérdésen belül helyezkedik el, hogy hogyan működnek valójában az AI detektorok, és a Turnitin azért hasznos szemléltető példa, mert saját módszeréből többet tesz közzé, mint a legtöbb szolgáltató. Ami ezután következik, először a folyamat, majd az, hogy a gyakorlatban mit jelöl meg, mit találtak az önálló tesztek arról, amit elmulaszt, és hogy egy intézményen belül kik látják ténylegesen az eredményt.

Hogyan észleli a Turnitin az AI-t? A folyamat röviden

Turnitin AI írásdetektora négy lépést hajt végre rögzített sorrendben. Először azt ellenőrzi, hogy egy dokumentum tartalmaz-e elegendő, a pontozáshoz egyáltalán alkalmas prózai szöveget. Másodszor, ezt a szöveget néhány száz szavas szegmensekre bontja. Harmadszor, egy modell minden szegmenst külön-külön pontoz. Negyedszer, a szegmenspontszámok átlaga adja azt az egyetlen, dokumentumszintű százalékot, amelyet az olvasó ténylegesen lát.

Az AI Writing Report nem a Similarity Report

A Turnitin AI writing report külön termék a plágiumot ellenőrző similarity reporttól. Különböző modelleken futnak, és ugyanazon felületen külön füleken jelennek meg. A similarity score egy benyújtott munkát hasonlít össze a korábban publikált források és más hallgatói dolgozatok adatbázisával, és visszaadja az egyező tartalom százalékát. Az AI score egészen mást tesz: egy osztályozó elolvassa a prózai szöveget, minden pontozott szegmenshez hozzárendel egy valószínűséget arra, hogy AI által generált, majd ezeket a pontszámokat egyetlen dokumentumszintű százalékba összesíti. Mivel különböző dolgokat mérnek, egy benyújtott munka similarity score-ja lehet 2 percent, miközben az AI score-ja 60 percent, vagy fordítva.

Az AI százalék ráadásul szűkebb, mint amilyennek hangzik. Azt az arányt írja le, amely szerint a modell úgy becsli, hogy a jogosult prózai szöveget AI írta, nem pedig a teljes dokumentumot, mert a kódblokkokat, felsorolásokat, címsorokat és a rövid formájú írást eltávolítják a pontszám kiszámítása előtt. E sorok írásakor a detektor csak angol, spanyol és japán szövegen fut.

Első lépés: A dokumentum szegmensekre bontása

Mielőtt bármit pontoznának, Turnitin modellje a benyújtott munkát néhány száz szavas darabokra osztja, darabonként nagyjából öt-tíz mondattal. A szegmentálás azért történik elsőként, mert a modellt arra építették, hogy ekkora darabot pontozzon, nem egyetlen mondatot, és nem egy teljes disszertációt egyetlen menetben.

Csak a prózai szöveg számít bele egy chunkba. A modellt úgy tervezték, hogy hosszú formájú írásokat olvasson. Az a dokumentum, amely prózai szöveget és táblázatokat vagy kódot is tartalmaz, úgy lesz értékelve, hogy a prózai szöveg valamely százalékát tartalmazza, de előfordulhat, hogy a dokumentumban lévő összes prózai szöveget nem írja le. Ennek oka, hogy a detektor olyan adatállományt pontoz, amely nem tartalmaz kódblokkokat, felsoroláspontokat vagy rövid formájú szöveget. Ezért fordulhat elő, hogy a dokumentum olyan százalékot ad vissza, amely csak a benyújtott anyag egy részét írja le.

A chunk szintű pontozásnak van egy csendesebb következménye is, amelyet érdemes megnevezni. Egyetlen AI által megfogalmazott mondat, amely egy egyébként ember által írt, néhány száz szavas chunkon belül helyezkedik el, együtt átlagolódik a chunk minden más elemével, így a chunk saját pontszámára gyakorolt hatása felhígul attól függően, hogy a környező ember által írt szöveg mennyit osztozik ugyanazon a chunkon. Egy rövid AI által megfogalmazott betoldás továbbra is eljut a modellhez. Egyszerűen kisebb súlyt visel, mint egy olyan chunk, amely az első szavától az utolsóig AI által megfogalmazott.

Második lépés: Az egyes szegmensek pontozása

Minden chunkot önállóan pontoznak, függetlenül a dokumentum összes többi chunkjától. A modell azt jósolja meg, hogy az adott szövegrész ember által írt, AI által generált, vagy AI által generált, majd parafrazált, vagyis nem egyszerű igen vagy nem, hanem háromirányú megkülönböztetésről van szó.

Ez egy külön kategória, és nem csupán az AI által generált szöveg kiterjesztése, ami azt sugallja, hogy a parafrazálás valóban problémát jelent a detektálás gyengítése szempontjából. Ezt egy 2023-as tanulmány is alátámasztja, amely szerint az AI által generált szöveg egy erre a célra szolgáló parafrazáló modellen való futtatása a DetectGPT nevű kutatási detektor pontosságát 70.3%-ról 4.6%-ra csökkentette, 1% hamis pozitív arány mellett. Nem tűnik úgy, hogy Turnitin bármit is közzétett volna arról, mennyire ellenálló a saját háromirányú osztályozója ugyanezzel a technikával szemben. A kategória dokumentált okból létezik.

A darabolt szintű pontozás, nem pedig a teljes dokumentum szintű pontozás, tudatos tervezési döntés. Egy kilencvenoldalas disszertáció, amelyben két AI által megfogalmazott bekezdés van, és egy öcoldalas esszé, amely teljes egészében AI által megfogalmazott, két különböző probléma, és a darabok közötti átlagolás teszi lehetővé, hogy egyetlen dokumentumszintű szám ezt a különbséget tükrözze, ahelyett hogy elsimítaná azt.

Turnitin nem tette közzé ennek az egyes darabokra vonatkozó modellnek a belső architektúráját ugyanolyan részletességgel, mint a folyamatlépéseit. Ez egy felügyelt osztályozó, amely címkézett példákon tanult, nem pedig egy egyszerű küszöbérték az olyan nyers következő token pontszámon, amilyet a TextPulse útmutatója tárgyal a mit mér valójában a perplexity az AI detektálásban című írásban, bár ugyanaz az alapgondolat, a szokatlanul kiszámítható szöveg, minden bizonnyal része annak, amit egy ilyen osztályozó megtanul észrevenni.

Harmadik lépés: dokumentumszintű százalékká átlagolás

A darabokra adott pontszámokat egyetlen százalékká átlagolják, amelyet a jelentés megjelenít. Ez a százalék a jogosult prózai szöveg, kizárólag a hosszabb formájú írás, azon arányát jelenti, amelyről a modell azt jósolja, hogy AI által generált, vagy AI által generált, majd parafrazált. Ez a pontozott szakaszok aránya, nem pedig annak állítása, hogy a dokumentum szavainak pontos hányada volt szó szerint gép által begépelve.

A jelentésen szereplő százalék az átlag. Ezért tűnhet két, egyaránt negyven százalékot adó dokumentum közelről eltérőnek. Az egyiknél előfordulhat, hogy a darabok negyven százaléka teljesen AI által generáltnak van pontozva. Egy másiknál viszont minden darab részben valószínűnek lehet pontozva, és ez ugyanarra a fő számra átlagolódik. Nem mutatja meg, hogy melyik minta eredményezte.

Észleli-e a Turnitin a ChatGPT, Claude vagy Gemini által generált szöveget?

Általában igen, amikor egy dokumentum jelentős mennyiségű AI-szöveget tartalmaz, és az osztályozó számára mindegy, melyik szolgáltató állította elő. A Turnitin szerint a modellje nem márkanevet, hanem írásmintázatot keres, és a lefedettsége az eredeti GPT-3.5 és GPT-4 2023-as bevezetése óta többször bővült. A jelenlegi útmutatás a GPT-5 sorozatot, a Gemini-t és a Claude-ot is megnevezi azok között a rendszerek között, amelyek ellen tanították, és az új modellkiadások folyamatosan hozzáadásra kerülnek. Az a hallgató, aki ehelyett Gemini-t, Claude-ot vagy DeepSeek-et használt, nem kerüli meg az érzékelőt pusztán azzal, hogy másik céget választ.

Az érintett beadások aránya nőtt. A Turnitin által 2025 októbere és 2026 februárja között átvizsgált dolgozatok körülbelül 15 százaléka mutatott 80 százalékos vagy annál nagyobb AI által generált szöveget, szemben a körülbelül 3 százalékkal, amikor az eszköz 2023 áprilisában elindult.

Az AI-szöveg parafrazált változata külön kategóriát kap, nem pedig automatikus felmentést, ez a fent leírt háromirányú osztályozás. A Turnitin dokumentációja elkülöníti azokat a szövegeket, amelyeket kizárólag AI által generáltnak ítél, azoktól, amelyeket AI által generáltnak, majd AI által parafrazáltnak ítél, és 2025 augusztusában olyan észlelést adott hozzá, amely kifejezetten az AI megkerülő eszközöket célozza, vagyis azokat az eszközöket, amelyeket arra építettek, hogy a gépi kimenetet átírják egy érzékelő mellett. Ez nem jelenti azt, hogy a parafrazálás értelmetlen, vagy hogy minden átírt részletet elkapnak. Azt jelenti, hogy az a feltételezés, miszerint a parafrazálás alapértelmezés szerint láthatatlan a Turnitin számára, már jó ideje elavult. Az, hogy az eszköz mit tesz kifejezetten a parafrazált szöveggel, valamint a DeepSeek kimenetével, külön tárgyalásra kerül.

A minimális szószámkövetelmény és a csillagozott küszöb

Egy beadásnak legalább 300 szónyi, a feltételeknek megfelelő prózai szöveget kell tartalmaznia ahhoz, hogy a Turnitin AI-érzékelője egyáltalán pontszámot generáljon, ez az érték egy korábbi 150 szavas minimumról emelkedett. E hossz alatt egyszerűen nincs elég szöveg ahhoz, hogy a szegmentálási és átlagolási folyamat lefusson.

A 300 szavas alsó határ összhangban van azzal a mérettel, amelyet korábban egyetlen pontozási egységként írtak le, néhány száz szó, öt-tíz mondat. Egy dokumentum, amely éppen eléri a minimumot, valójában csak körülbelül egy egységnyi minősített szöveget ad át az átlagolási folyamatnak, nem többet, és ez része annak, hogy miért nagyobb valószínűséggel kerül egy ilyen határ közelében lévő jelentés abba a kevésbé megbízható tartományba, amelynek jelzésére a következő küszöb létezik.

A Turnitin akkor sem jelenít meg százalékot, ha az 20% alatti küszöb alá esne. 2024 júliusa óta a jelentés egy csillagot mutat a százalékjel mellett, szám helyett. A jelentés viselkedésének ez az egyetlen eleme több zavart okoz, mint a folyamat bármely más része, ezért külön szakasz foglalkozik vele alább.

Feltétel	Mit mutat a jelentés	Miért
Kevesebb mint 300 szónyi minősített próza	Egyáltalán nincs AI pontszám	Nincs elég szöveg ahhoz, hogy a szegmentálási és átlagolási folyamat megbízhatóan fusson rajta
A pontszám 20% alá esne	Egy csillag a százalékjel mellett, nem szám	A Turnitin saját dokumentációja ebben a tartományban mérhetően magasabb hamis pozitív arányt jelez
20% vagy magasabb pontszám	Egy konkrét százalék	A Turnitin ezt már elég megbízhatónak tekinti ahhoz, hogy számként jelenítse meg

Mit jelent a csillagos pontszám a Turnitinben?

A Turnitin AI írásjelentésében szereplő csillag azt jelenti, hogy a modell észlelt valamennyi AI írást, de a dokumentum kevesebb mint 20 százalékát, és a Turnitin ebben a tartományban nem közöl számot. Ahol normál esetben százalék szerepelne, ott a jelentés a százalékjel mellett egy csillagot mutat. A Turnitin saját termékdokumentációja ezt egyenesen kimondja: "When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed."

Az asterisk tehát nem hiba, nem hiányzó pontszám, és nem annak a jele, hogy valami rosszul ment a feltöltés során. Ez a szolgáltató tudatos döntése arra, hogy visszatartson egy olyan értéket, amelyet nem tart elég megbízhatónak ahhoz, hogy kiírja.

Miért rejti el a Turnitin a 20 százalék alatti számot

Mert ebben a sávban a legvalószínűbb, hogy az eszköz téved, és a Turnitin saját pontossági ígérete eleve kizárja ezt a tartományt. A vállalat azt vállalja, hogy a hamis pozitív arányát "1% alatt" tartja "20% feletti AI writingot tartalmazó dokumentumok" esetében. Figyelmesen olvassa el a hatókört: a vállalásba be van építve egy alsó határ, és ez az alsó határ ugyanaz a 20 százalék. E vonal alatt a vállalat nem állítja ugyanazt a megbízhatóságot, ezért ahelyett, hogy kiírna egy kis számot, amelyet az olvasó elkerülhetetlenül pontosnak tekintene, inkább semmit sem ír ki. Az asterisk célja a hamis pozitív eredmények elkerülése, vagyis az, hogy ne adjon egy oktatónak olyan értéket, amely félrevezetné az ember által írt dokumentum megítélését.

Az érvelés követi a korábban leírt működést. A dokumentumszintű pontszám néhány száz szavas egységek átlaga. Amikor ezeknek az egységeknek csak kis része kap AI minősítést, az így kapott átlag nagyon kevés jelre támaszkodik, és a folyamat nem tud megbízhatóan különbséget tenni egy valódi 8 százalék és egy téves 8 százalék között. A szám elnyomása erre az őszinte válasz, és ugyanaz az ösztön áll mögötte, mint a 300 szavas minimum mögött.

Mit jelent az asterisk a gyakorlatban egy egyetemen

A gyakorlatban a legtöbb intézmény az asterisket olyasminek tekinti, amivel nem kell foglalkozni, és alacsony pontszámként olvassa, amely összhangban van az ember által írt munkával. Az érvelés egyszerű. Ha az a szolgáltató, amely a detektort készítette, nem vállalja fel az adott tartományba eső értéket, akkor az oktatónak nincs érdemi mondanivalója a hallgató felé, nemhogy olyasmi, amit egy szabálysértési bizottság elé lehetne vinni. A legtöbb tudományos integritási eljárásban az asterisket mutató jelentés gyakorlatilag egyenértékű a tiszta jelentéssel.

Ez annak a leírása, hogyan használják fel az eredményt, és ezt érdemes tudni, ha éppen egy ilyen jelentést néz. Ez azonban nem ugyanaz, mint annak megállapítása, hogy maga a dokumentum valójában mi, és ez a különbség mindkét irányban számít.

Mit nem jelent az a csillag

• Nem az emberi szerzőség bizonyítványa. A Turnitin nem vállalja magabiztosan a dokumentum pontozását, ami inkább a detektorra vonatkozó állítás, mintsem az íróra.
• Nem ugyanaz, mint a nulla. Egy olyan dokumentum, amelyben egyáltalán nincs AI által írt szöveg, és egy olyan dokumentum, amelyben egyetlen AI által támogatott bekezdés van, ugyanazt a csillagot eredményezheti, és éppen ezért marad el a szám.
• Nem hasonlítható össze a beküldések között. Két csillag azt jelzi, hogy mindkét dokumentum ugyanazon küszöb alá esett, és semmit nem mond arról, hogyan viszonyulnak egymáshoz.
• Nem az egyezőségi pontszám. A plágiumegyeztetés külön jelentés egy külön lapon, és a saját százalékát jeleníti meg, függetlenül attól, hogy mit tesz az AI jelző.

Az ebből levonható gyakorlati következtetés az, hogy egy enyhe AI által támogatott szerkesztés, amikor egy bekezdést segítséggel átírnak, a többi részt pedig segítség nélkül írják, gyakran csillagot eredményez, nem pedig kis százalékot. Sem a szám jelenléte, sem annak hiánya önmagában nem dönti el a kérdést, és ugyanerre a következtetésre jutnak az alábbi pontossági adatok is a másik irányból.

Mit állít a Turnitin a pontosságról, és kinek az adatai ezek

A Turnitin saját pontossági adatait teszi közzé, és ezeket pontosan így érdemes olvasni: a szolgáltató saját validációs számaiként, nem független ellenőrzésként. A közzétett anyaga 1% alatti hamis pozitív arányt állít azoknál a dokumentumoknál, amelyeket a modell 20% fölötti AI írásként pontoz, ez a küszöb pedig összhangban van a fent leírt csillagküszöbbel. Ugyanezt a programot később kiterjesztették az English Language Learner írásmintáira, válaszul a detektor torzításával kapcsolatos kutatásokra.

Turnitin azt állítja, hogy ezt az értéket egy nagy, ember által írt dolgozatokból álló alapmintához viszonyítva validálta, amelyeket a ChatGPT megjelenése előtt nyújtottak be. Turnitin anyagai nem következetesek ennek az alapmintának a pontos méretét illetően, a FAQ oldal 700,000 dolgozatra hivatkozik, míg Turnitin Chief Product Officerének egy blogbejegyzése 800,000-et említ, és mindkettőhöz ugyanaz az 1% alatti állítás kapcsolódik. Turnitin anyagai a vállalat saját megfogalmazása szerint egy kompromisszumot is leírnak, a mesterséges intelligencia által generált tartalom agresszívebb kiszűrése azt jelenti, hogy ennek körülbelül 15%-át nem észlelik.

A vállalat a nyilvánosság előtt a saját állításait is módosította. 2023-ban, röviddel az indulás után, Turnitin chief product officer elismerte, hogy a laboratóriumi tesztelés nem jelezte előre, a valós használat során hány téves pozitív eredmény jelenik meg, különösen rövid beadások esetében, és körülbelül 4 százalékos mondatszintű téves pozitív arányról számolt be. A minimálisan pontozható hossz 150 szóról 300 szóra emelése volt a válasz erre a különbségre.

Ezeket az adatokat együtt olvasva egy konkrét kompromisszum rajzolódik ki, nem pedig egyetlen pontossági szám. Az 1% alatti téves pozitív arány közel elhanyagolhatónak hangzik, amíg nem vetjük össze azzal, hány beadás fut át a rendszeren, a 15%-os kihagyási arány pedig azt jelenti, hogy a mesterséges intelligencia által generált tartalom jelentős része szándékosan emberinek van pontozva, nem meghibásodás miatt. Turnitin saját anyagai a rendszer szándékolt egyensúlyaként mutatják be mindkét számot, nem pedig annak bizonyítékaként, hogy az eszköz egyszerűen helyes vagy egyszerűen téves.

Mit talált a független tesztelés

A független tesztelés olyan részleteket ad hozzá, amelyeket a gyártói adatok nem tartalmaznak, ugyanabban a szellemben, mint a mesterséges intelligencia detektorok független tesztelése, amely folyamatosan eltéréseket tár fel a laboratóriumi körülmények és a valós beadások között. A Temple University Center for the Advancement of Teaching az egyik legkörültekintőbb vizsgálatot végezte el, amely elérhető. A kutatók 120 írásmintát nyújtottak be, egyenlő arányban elosztva teljesen emberi írás, teljesen mesterséges intelligencia által generált írás, egy parafrazáló eszközön lefuttatott mesterséges intelligencia által generált írás, valamint emberi és mesterséges intelligencia hozzájárulásait ötvöző hibrid szövegek között, és rögzítették, hogy Turnitin mit adott vissza mindegyikre.

Az eszköz helyesen azonosította a tisztán emberi minták 93 százalékát és a tisztán AI által generált minták 77 százalékát. A nehezebb kérdéseknél a pontosság tovább csökkent. Turnitin mindössze a parafrazált AI minták 63 százalékát azonosította helyesen AI által generáltként, és a hibrid minták csupán 43 százalékát sorolta sem teljesen emberi, sem teljesen AI kategóriába. Ezek állnak legközelebb ahhoz, ahogyan az AI-val segített írás valójában létrejön, és a kutatók különösen a hibrid szöveget jelölték meg olyan kategóriaként, amely várhatóan a valós beadott munkák nagy és növekvő részét teszi ki, ahogy egyre több kurzus ír elő olyan feladatokat, amelyek a feladat egy részéhez AI-t használnak.

Mit vizsgáltak	Turnitin eredménye
100% ember által írt minták	93% helyesen emberinek azonosítva
100% AI által generált minták	77% helyesen AI-ként azonosítva
AI-szöveg, amelyet parafrazáló eszközön futtattak át	63% helyesen AI-ként azonosítva
Hibrid minták, részben emberi, részben AI	43% helyesen sem 0%, sem 100% kategóriába sorolva
20% felett megjelölt dokumentumok (Turnitin saját adata)	1% alatti téves pozitív arány

Ezek közül egyik sem független megállapítás Turnitin oldalán. A vállalaton kívüli kutatók, akiket Turnitin saját torzításvizsgálatairól szóló beszámolók idéznek, ismét összetettebb képet írnak le, különösen a nem anyanyelvi angol írók és a jelentősen szerkesztett vázlatok esetében.

Hol bomlanak fel a mondatszintű kiemelések

A dokumentumszintű pontszám nem az egyetlen nézet, amelyet egy oktató megnyithat, és a másik kevésbé megbízható. Egyes felületek egy jelzőjelentést jelenítenek meg, amely az egyes mondatokat valószínűleg AI által írtként emeli ki. Temple kutatói ezeket a kiemeléseket összevetették azzal, hogy hibrid mintáikban mely mondatok voltak ténylegesen AI által írtak, és nem találtak kapcsolatot a kettő között. Ennek akkor van jelentősége, ha egy oktató a kiemelt bekezdés képernyőképet továbbítja a százalékos összegzés helyett: az összesített dokumentumpontszám lényegesen jobban teljesített, mint a mondatszintű kiemelések.

Ki látja valójában a pontszámot

Az AI pontszám alapértelmezés szerint nem része a hallgatói nézetű jelentésnek. Külön fülön található, amelyet az oktatók és az adminisztrátorok láthatnak, a hallgató pedig csak akkor látja, ha az oktató úgy dönt, hogy megosztja a jelentést, vagy közvetlenül megmutatja neki. Ez valódi szerkezeti különbség a hasonlósági pontszámhoz képest, amelyet a hallgatók rendszerint maguk is megtekinthetnek ugyanabban a rendszerben, miután a beadást feldolgozták.

Ugyanez érvényes arra is, hogy a funkció egyáltalán létezik-e egy adott kurzushoz, ami intézményi döntés, az oktatón túl és azon felül. A fiókszintű adminisztrátorok egy teljes intézmény számára be- vagy kikapcsolhatják a Turnitin AI észlelését. Előfordulhat, hogy egy oktató nem tudja bekapcsolni, ha az egyeteme kikapcsolta, és fordítva. Két hallgató különböző egyetemeken összehasonlítható munkát adhat be, és nagyon eltérő tapasztalatot szerezhet erről az eszközről, olyan okokból, amelyeknek semmi közük ahhoz, amit bármelyikük írt.

Miért kapcsolták ki egyes egyetemek

A Waterloo Egyetem 2025 szeptemberében megszüntette a Turnitin AI észlelési funkcióját, és a nyilvánosan közölt indoklása szokatlanul egyenes. Az egyetem a eszköz dokumentált megbízhatatlanságára, azokra az elfogultságokra hivatkozott, amelyek hátrányosan érintik azokat a hallgatókat, akiknek az első nyelve nem angol, valamint a saját belső tesztelésére, amely legalább egy olyan esetet is tartalmazott, amikor teljes egészében ember által írt szöveget 100 százalékban AI által generáltnak értékeltek. Az eszköz költségeivel összevetve az egyetem arra a következtetésre jutott, hogy a költségek meghaladják az előnyöket, és inkább az értékelés újratervezésére és az AI műveltségi képzésre irányította át az erőfeszítéseket.

Waterloo egy jól látható példája egy szélesebb megosztottságnak, nem pedig kivétel. Azok az egyetemek, amelyek bekapcsolva tartják ezt a funkciót, általában inkább korlátokat építettek be, semmint hogy az eredményt önmagában döntésnek tekintenék, megkövetelve egy beszélgetést a hallgatóval, mielőtt bármi formális elkezdődne, és a számot inkább oknak tekintve arra, hogy ezt a beszélgetést megnyissák, ne pedig lezárják. Ha tovább olvassuk, hogyan kezelik az egyetemek az AI policy-t tágabb értelemben, a minta világosabbá válik: hogy egy score egyáltalán eljut-e Önhöz, az sokkal inkább egy, a szemináriumi szobájánál jóval magasabb szinten meghozott döntéstől függ, mint a technológia valamely rögzített tulajdonságától.

Mit bizonyít, és mit nem bizonyít egy magas score

A magas AI score bizonyíték, nem döntés. Turnitin maga úgy keretezi a százalékot, mint az oktató megítélésének egyik adatpontját, nem pedig mint a szabálytalanság megállapítását, és a fenti pontossági adatok megmagyarázzák, miért fontos ez a keretezés: még egy dokumentumszintű score is, amely elfogadhatóan jól teljesít, jelentős arányban félreérti az erősen szerkesztett, parafrazált vagy hibrid írást, a mondatszintű kiemelések pedig érezhetően kevésbé megbízhatók, mint az összesített szám. Mindez nem garantálja, hogy bármely egyedi score hibás. Azt jelenti, hogy egyetlen százalék inkább ok a kérdések feltevésére, mint olyan megállapítás, amelyet első pillantásra el kell fogadni.

Egyetlen dokumentumszintű százalék négy külön lépést sűrít egyetlen számmá, és ezek közül egyik sem értelmezi a jelentést, illetve nem ellenőrzi, hogy az érvelés helytálló-e. Annak megértéséhez, hogy egy rövidebb részlet hogyan teljesít azokon az alapul szolgáló statisztikai jeleken, amelyekből egy ilyen pipeline felépül, közvetlenebb módszer, mint a százalékot döntésként kezelni. A TextPulse ingyenes perplexity checker eszköze egy ilyen, szó szintű pontozás leegyszerűsített változatát futtatja a saját vázlatán, bármilyen intézményi pipeline-on kívül, és az ingyenes burstiness checker a mérés ugyanazon részének, a mondatritmusnak a felét fedi le. Mindkettő a saját írásáról ad értékelést, nem pedig előrejelzést arról, hogy Turnitin mit fog mondani róla. Egyetlen eszköz sem ígérheti ezt felelősen egy olyan rendszerről, amelyet nem maga irányít.

Turnitin két számot jelent, és ezek egymástól független dolgokat mérnek. Hogy melyik melyik, azt külön ismertetjük, valamint hogy valójában mi számít jó Turnitin pontszámnak, miután tudja, mire vonatkozik a százalék. Több kapcsolódó kérdésnek külön oldala van: hogy egy professzor meg tudja-e állapítani, hogy ChatGPT-t használt bármilyen detektor nélkül is, ennek nyersebb változata, hogy rajtakapnak-e, valamint bizonyos környezetekben az AI észlelése az ápolási képzésekben és hogy a felsőoktatási felvételi irodák elvégzik-e ezeket az ellenőrzéseket. A tágabb keretet egy külön írás tárgyalja az akadémiai integritásról és az AI-ról.

Valószínűleg egyik sem a végleges változat. Turnitin 2023 óta többször átírta a küszöbértékeit, a láthatósági szabályait és a modelllefedettségét, és 2026 augusztusa sem lesz az utolsó szó. Ez a TextPulse többi ingyenes eszközkészlete mellett áll, mindazok számára, akik egy intézmény százalékos értékét véglegesnek tekintés előtt egy második jelzést szeretnének.

Mit mutatott a saját kutatásunk

A TextPulse Research detektor-egyezési tanulmányában kilenc kereskedelmi AI-detektor értékelte ugyanazt a 90 akadémiai szöveget. Az egyik egy 455 szavas hibrid szöveg volt: ember írta bevezetés és zárás, közötte 168 szavas, AI által írt középrész. A Turnitin erre a szövegre 26.8% AI értéket adott, miközben a többi eszköz ítélete ugyanezekre a szavakra 0% és 95.7% AI között szórt. A teljes tanulmány, a korpusz és az eszközönkénti pontszámmátrix szabadon elérhető itt: TextPulse Research.