Képes a Turnitin felismerni a humanizált AI-szöveget?

Turnitin a saját támogatási oldalán válaszol erre a kérdésre, és a válasz pontosabb, mint a szokásos vita bármelyik oldala. Az AI írásjelzője, Turnitin says, már tartalmazza az AI által generált tartalom felismerését, még akkor is, ha azt humanizálták, vagy egy bypasseren futtatták át a felismerés elkerülése érdekében. Ez egy szolgáltató saját termékéről szóló leírása. Egyben ez a megfelelő kiindulópont is, mert megmutatja, mire állítja a modell, hogy képes.

Tehát képes-e a Turnitin felismerni a humanizált szöveget? A kérdésnek van egy szűkebb és hasznosabb formája. A Turnitin modellje nem keresi a humanizer ujjlenyomatát, és nem vezet eszközlistát. A prózát mondatról mondatra pontozza aszerint, hogy az írás mennyire egyezik a gép által generált szöveg statisztikai mintázataival, majd ezeket a pontszámokat a dokumentum egészére átlagolja. Az, hogy egy humanizált részlet továbbra is magas pontszámot kap-e, attól függ, hogy az átírás mennyit változtatott ezen a mintázaton, és attól is, hogy a dokumentum mekkora részét írták át egyáltalán.

Felismeri-e a Turnitin a humanizált szöveget? Mit állít a Turnitin

A közzétett álláspontjuk egyszerűen igen. Arra a kérdésre válaszolva, hogy képes-e felismerni a humanizeren átfuttatott tartalmat, az útmutatásuk ezt mondja: "Yes, Turnitin's AI indicator includes detection of AI-generated content that may have been humanized or passed through a bypasser to avoid detection." Ugyanez az oldal ugyanezt a választ adja az AI parafrazáló eszközökre is.

Ez az állítás nem jelenik meg a jelentésben valahol egy második számként. A Turnitin ezt beépíti az egyetlen AI írás százalékba, és ennek a százaléknak a közzétett meghatározása ezt közvetlenül kimondja: olyan szöveget fed le, amelyet a modell valószínűleg AI generált, vagy valószínűleg AI generált, majd egy AI parafrazáló vagy bypasser módosított. Egyetlen pontszám van, és az a modell képességeihez mérten már figyelembe veszi az átírást.

Figyelmesen olvassa el, ez inkább a lefedettségre vonatkozó állítás, mint a pontosságra vonatkozó állítás. Turnitin azt állítja, hogy a humanizált szöveg a modell felépítésekor a vizsgálati körbe tartozott. Ez messze nem jelenti azt, hogy minden humanizált dokumentum magas pontszámot kap, és a saját, később közzétett adatai is egy olyan modellt írnak le, amely az egyes mondatokat bizonytalannak kezeli.

Mit pontoz valójában az AI Writing Indicator

Ez nem százalék. Ez a szöveg egy hányada, tehát nem bizalmi szint. Annak a mértéke, hogy a dokumentumon belüli szöveg mekkora részét tartja a modell valószínűleg AI által generáltnak. Ezt minősített szövegnek nevezzük, ami azt jelenti, hogy hosszú formátumú írási szerkezetben megjelenő prózamondatokról van szó. Nem tartalmaz felsorolásokat, kódot, táblázatokat vagy rövid töredékeket. Ezért láthat különböző számokat ugyanarra a dolgozatra attól függően, hogy annak mekkora része folyó próza.

A mögöttes mechanizmus elég egyszerűen elképzelhető. Turnitin a dokumentumot néhány száz szóból álló, egymást átfedő szegmensekre bontja, nagyjából öt-tíz mondatonként, úgy átfedve őket, hogy minden mondat kontextusban kapjon pontszámot. Minden mondat 0 és 1 közötti értéket kap. A szegmenspontszámokat ezután a dokumentum egészére átlagolják, hogy létrejöjjön az az egyetlen szám, amelyet az oktató lát. A hogyan észleli a Turnitin az AI-t című, lépésről lépésre haladó ismertetés részletesebben végigvezeti az egyes szakaszokon.

Ez az átlagolási lépés a humanizált szöveg esetében fontosabb, mint bármi más a folyamatban, és ez az a rész, amelyet szinte senki sem vesz figyelembe. Az a szám, amelyet az oktató lát, a szegmensszintű ítéletek számtani átlaga. Egy dokumentumot félig át lehet írni, és mégis valahol középre kerülhet olyan okokból, amelyeknek kevés közük van ahhoz, mennyire volt jó az átírás.

Miért kap néha mégis magas pontszámot a humanizált kimenet

A leggyakoribb ok a lefedettség. Ha egy humanizer csak a bevezetésre és a következtetésre van alkalmazva, az érintetlenül hagyja az irodalmi áttekintést és a tárgyalást, és ezek a szakaszok közvetlenül az eredeti pontszámaikat viszik be az átlagba. Egy hosszú fejezetben a nyitó oldalak átírása csak néhány szegmenst változtat meg, a többit pedig pontosan olyannak hagyja, amilyenek voltak, ami kisebb elmozdulást eredményez, mint amekkorára az író a jelentősnek érzett munka alapján számítana.

A második ok az átírás mélysége. Az a beavatkozás, amely a szókincset helyettesíti, miközben a mondathosszakat, a tagmondatok sorrendjét és az átmeneti megoldásokat változatlanul hagyja, nagyrészt érintetlenül hagyja azt a mintázatot, amelyre a classifier-t betanították. A modell a próza formáját pontozza, ezért annak megváltoztatása, hogy mely szavak töltik ki ezt a formát, kevesebbet számít, mint azt a legtöbben feltételezik. Egy ingyenes perplexity checker megmutatja, mennyire kiszámíthatónak olvasható még egy szakasz az átírás után, ami informatívabb jelzés, mint az előtte és utána állapot szószintű összehasonlítása.

A harmadik ok az, hogy az átírás saját szabályosságot vezethet be. Az a szoftver, amely minden bekezdésre ugyanazt az átalakítást alkalmazza, új mintázatot hoz létre, amely éppoly szabályos, mint a régi. Ha minden mondatban ugyanaz a fajta kapcsolt törés jelenik meg, vagy ha minden mondathoz ugyanaz a fajta enyhítő mellékmondat kerül ugyanabba a helyre, akkor ezeket a mondatokat egy classifier ugyanolyan egyenletesnek fogja látni, mintha kezdettől fogva mind ugyanolyan hosszúak lettek volna.

Helyzet	Mit tesz az AI pontszám	Miért
Csak a dokumentum egy részét írták át	A vártnál kisebb mértékben csökken	Az érintetlen szakaszok az eredeti pontszámaikat viszik be az átlagba
A szókincs megváltozott, a mondatszerkezet megmaradt	Alig mozdul	Az osztályozó mondatszintű mintázatokat pontoz, amelyeket a csere változatlanul hagyott
A mondatokat mindenütt valóban átszervezték	Nagyobb mértékben mozdul	Az egyenletes ritmus, amelyet a modell felismerésére tanítottak, megszakad
Kevesebb mint 300 szónyi prózát nyújtottak be	Egyáltalán nem generál pontszámot	Turnitin 300 szónyi jogosult prózát követel meg, mielőtt százalékos értéket közölne
Az eredmény 20 percent alá esik	Szám helyett csillag jelenik meg	Turnitin ebben a tartományban kevésbé megbízhatónak jelöli az eredményeket

Miért eredményez néha alacsony pontszámot ugyanaz az átírás

Egy humanizált dokumentum alacsony pontszámmal is visszaérkezhet olyan okokból, amelyeknek semmi közük az átíráshoz. Turnitinnek legalább 300 szónyi jogosult prózára van szüksége ahhoz, hogy egyáltalán AI százalékot generáljon, ezt a küszöböt az eredeti 150 szóról emelte meg azzal az indokkal, hogy a pontosság valamivel több szöveggel javul. Egy rövid reflexív szöveg nem ad számot, és a hiányzó pontszám nem ugyanaz, mint egy tiszta pontszám.

Turnitin a 20 percent alatti tartományt csillaggal jelöli a pontos százalék helyett, mert ebben a tartományban nagyobb a téves pozitív eredmények előfordulása. Az indulás idején az oktatási beszámolók is erre a viselkedésre utaltak, azt mondva, hogy a 20 percentnél kevesebb AI-written eredményeknél magasabb volt a téves pozitív eredmények aránya, ezért Turnitin figyelmeztetéseket adott hozzá. Az ebbe a sávba eső dokumentumot olyan tartományként jelölték meg, amelyet Turnitin nem hajlandó pontosan közölni, és ez más, mint a tisztának minősítés.

Van egy intézményi kapu is mindezek felett. A Turnitin csak akkor dolgoz fel egy beküldést AI írásfelismerés céljából, ha az intézmény bekapcsolta ezt a funkciót, és az adminisztrátorok fiókszinten letilthatják. A Vanderbilt University pontosan ezt tette 2023 augusztusában, arra hivatkozva, hogy a Turnitin akkor közzétett hamis pozitív aránya 1 percent volt mintegy 75,000 éves beküldés mellett, hogy elfogult a nem anyanyelvi angol írókkal szemben, valamint hogy hiányzik az átláthatóság arra vonatkozóan, hogyan működik a modell. Egy olyan intézmény hallgatójának, ahol a funkció ki van kapcsolva, egyetlen beküldésén sincs AI pontszám, sem humanizált, sem másmilyen.

És ahol az átírás valóban szerkezeti volt, a pontszám csökkenhet, mert a mért minta megváltozott. A Turnitin a írásmintákból számított becslést közöl, ezért a mintázataikban eltérő szövegek eltérő pontszámot kapnak. A mechanizmus mindkét irányban működik, és ez a kellemetlen része, az eredeti emberi írás néha pontosan ugyanezen okból kap magas pontszámot.

Mit állít az egyes humanizer szolgáltatók, és mi dokumentált

Egy szabály irányítja a táblázatot. A középső oszlop a szolgáltató saját marketingnyelve, amelyet a saját webhelyéről vettünk át, ahol az ilyen forrás rendelkezésre állt. A jobb oldali oszlop azt rögzíti, hogy valójában mi áll az egyes állítások mögött, ami a legtöbb esetben egyáltalán nem adatállomány, dátum vagy módszer. Ezekre a márkákra nem létezik nyilvános, közvetlen összehasonlító teszt.

Márka	Mit állít a szolgáltató	Mi dokumentált
Undetectable.ai	Termékjellemzőként sorolja fel az AI detektorok megkerülését, számadat nélkül, és felajánlja a humanizálás költségének visszatérítését, ha a kimenetet nem emberinek jelölik	A visszatérítés kereskedelmi feltétel, az állítás mögött nem áll adatbázis, dátum vagy detektoronkénti eredmény
QuillBot	Önállóan, a saját oldalain nem tesz észlelési vagy megkerülési állítást a humanizer funkcióra vonatkozóan. A különálló AI detektorát kizárólag úgy írja le, mint amely AI által generált tartalmat észlel	A QuillBot a humanizert egy általános írói csomag részeként értékesíti, és ehhez nem tesz Turnitin-specifikus állítást
WriteHuman	Az első helyen szerepel egy Humanizer Leaderboardon, és komoly íráshoz való prémium AI humanizerként írják le	A rangsor nem közöl módszertant vagy mintát, és a WriteHuman nem rendel számszerű pontossági értéket a helyezéshez
Walter Writes AI	Széles körű humanizálást kínál 80+ nyelven, Turnitin-specifikus állítás nélkül	Nincs tesztadat egyik irányban sem
HIX Bypass	Detektoronkénti megkerülési oldalakat kínál, Turnitin-specifikus számadat nélkül	A HIX Bypass és a BypassGPT külön termékek, külön domaineken, ezért ellenőrizni kell, melyikre vonatkozik az állítás
StealthGPT	Átlagosan 98% emberinek minősülő eredményt ér el Turnitinon és 95%ot GPTZero-n, mindegyik egy megadott, 30 mintás futtatásból származik, nulla észleléssel, továbbá pénzvisszafizetési garanciát kínál, ha az előfizetőt észlelik	Önbevalláson alapul. Az értékek mellett nem közölnek adatbázist, mintaválasztást, dátumot vagy módszert, és 30 dokumentum túl kicsi futtatás ahhoz az állításhoz, hogy egy modell több millió beküldést pontoz
Phrasly	AI észleléseltávolítóként pozicionálja magát, tesztadatot nem közöl	Nyilvános állítás egyik irányban sem. Az értékelésekben keringő számok másodkézből származnak, ezért elvi alapon itt kizárásra kerülnek
Grammarly	Egyáltalán nem úgy reklámozza az átírást, mint észlelésmegkerülést. Az AI detektor oldalán 99%os észlelési pontosságot és a RAID független benchmarkján elért első helyezést állítja	Ugyanez a Grammarly oldal azt is kimondja, hogy egyetlen AI detektor sem 100%ban pontos. Az Authorship funkció a szöveget ember által gépeltként, AI-val létrehozottként vagy Grammarly-val szerkesztettként címkézi
TextPulse	92.33%os átmenési arány Turnitin AI-n, 89.12%os Originality.ai-n és 87.91%os GPTZero-n, egy 2,000 dokumentumos akadémiai korpuszon mérve	A TextPulse mérte és tette közzé, tehát önbevallás, mint minden fenti érték. A korpusz mérete és a detektorok meg vannak nevezve, de egyetlen dokumentumra sem ígérnek konkrét detektoreredményt

Három dolog derül ki abból a táblázatból. Ezen eszközök többsége egyáltalán nem tesz közzé olyan detektálási állítást, amelyet ellenőrizni lehetne. Néhányuk egy mintanagyságot kapcsol egy számhoz, ami több, mint amennyit a kategória többi szereplője fel tud mutatni. És egyikük sem tesz közzé olyan adathalmazt, amelyet a vállalaton kívül bárki saját maga is lefuttathatna. Ugyanakkor minden márkának jár az elismerés ott, ahol kiérdemli. Az Undetectable.ai visszatérítést kapcsol az állításához, ami konkrét kötelezettségvállalás, nem pedig melléknév. A WriteHuman pontos, csomagonkénti kérés- és szószámkorlátokat tesz közzé, így a vevő tudja, mit kap. A Grammarly ugyanazon az oldalon minősíti a saját pontossági számát, amelyen közli azt, és ez több, mint amit a legtöbb detektáleszköz-szolgáltató tesz. És az, hogy a QuillBot egyáltalán nem tesz közzé megkerülési állítást, a lista leginkább védhető álláspontja.

Miért nem tudja a szolgáltatón kívül senki ellenőrizni ezeket a számokat

Egy humanizer-szolgáltató, amely Turnitin átmenési arányt állít, olyan futtatásokról beszél, amelyeket egy általa ellenőrzött fiókon keresztül, az általa kiválasztott dokumentumokon, egy olyan napon végzett, amelyet rendszerint nem nevez meg, egy olyan osztályozóval szemben, amelyet a Turnitin az új nyelvi modellek megjelenésével módosít. Ez igaz a StealthGPT harmincmintás számára, és ugyanígy igaz a 2,000 dokumentumos számra is, amelyet ez az oldal tesz közzé. A korpusz mérete befolyásolja, mennyi zaj van egy számban. Nem változtatja az önbevallást auditálhatóvá.

A probléma másik fele az, hogy a Turnitin saját, általa állítólag felismerhető modelleket felsoroló listáját az új kiadások megjelenésével szerkesztik. Az a múlt negyedévi osztályozóval mért átmenési arány a múlt negyedévi osztályozót írja le, és semmi mást. Hogy ez miért jelenti azt, hogy senki sem nevezhet meg egy legjobb AI humanizer a Turnitin megkerülésére külön is ki van fejtve. Minden humanizer kezdőlapján szereplő szám, ebben az oldalban is, egy pillanatfelvétel, amelyhez olyan dátum tartozik, amelyet a szolgáltató talán soha nem tett közzé.

Hogyan olvasson el egy megkerülési állítást, mielőtt fizetne érte

Négy kérdés választja el egymástól azokat az állításokat, amelyeket érdemes mérlegelni, és azokat, amelyeket érdemes figyelmen kívül hagyni, és ezek a fenti táblázat minden sorára vonatkoznak, beleértve az utolsót is.

• Hány dokumentumot teszteltek, és ki választotta ki őket? Egy százalék, amely mögött nincs mintanagyság, olyan, mint egy számmal felcímkézett szlogen.
• Melyik napon, és melyik detektorverzióval szemben? Az észlelési modelleket új nyelvi modellek megjelenésével felülvizsgálják, és egy dátum nélküli találati arány gyorsan elavul.
• A garancia visszatérítés vagy eredmény? Egy pénzvisszafizetési ígéret csak kis pénzügyi kockázatot hárít át, és semmit sem tesz egy akadémiai integritási bizottság ellenében.
• Mit mond a szolgáltató arról, mi történik egy hivatkozással, egy szakkifejezéssel vagy egy blokkidézettel? A legtöbb humanizer oldal erről semmit sem mond, ami önmagában is válasz.

Ez az utolsó kérdés többet dönt el, mint a detektor aritmetikája bárki számára, aki akadémiai munkát ad be. Egy átírás, amely jól teljesít, és csendben általánosít egy módszertani mondatot, elvette Öntől azt, amiért értékelték. TextPulse akadémiai humanizere dokumentálja a hivatkozások megőrzését az APA, MLA, IEEE, Chicago, Harvard és Vancouver szerint, a freeze terms funkciót az pontos szókincs rögzítésére egy futtatás előtt, valamint a szaklektorált akadémiai szövegeken végzett tanítást, miközben a kimenet Flesch-Kincaid 13 és 18 közötti osztályszinten marad. Ezek állítások arról, hogy mi történik a szöveggel, és ez másfajta állítás, mint egy detektorra vonatkozó százalék, és az olvasó ezt a kimenetben egy percen belül ellenőrizheti.

Mit jelent a pontszám egy hallgató számára így is, úgy is

Turnitin világosan kimondja, hogy az AI írásjelző nem jelent kötelességszegést megállapító megállapítást. Turnitin termékoldala kifejezetten azt állítja, hogy a Turnitin Originality "does not make a determination of misconduct through our AI writing detection (or similarity checking) technology." Azt is egyértelművé teszi, hogy Turnitin olyan információt szolgáltat, amely lehetővé teszi a tanárok számára, hogy intézményük szabályzatai alapján megalapozott döntést hozzanak. Ezt megerősíti az a figyelmeztetés is, hogy a modell "may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."

A hallgatók alapértelmezés szerint nem látják az eredményt. A Turnitin egyértelműen kimondja, hogy az AI írásészlelési jelző és a jelentés nem látható a hallgatók számára, és az egyetlen módja annak, hogy valaki megtekintse, az az, ha az oktató PDF-ként letölti a jelentést, és átadja azt. Az a hallgató, aki a saját vázlatát ellenőrzi, egy másik eszközt ellenőriz, amelyet más adatokon képeztek, és a két számnak nincs kötelessége egyezni.

Ez pedig nyitva hagyja azt a részt, amelyet semmilyen pontszám nem dönt el. Az, hogy az AI támogatás egyáltalán megengedett volt-e, a kurzus és az intézmény kérdése, és egy AI használati szabályzat ezt olyan módon válaszolja meg, ahogyan azt egy százalék soha nem teszi. A megengedett, feltárt használat esetén kapott magas pontszám bizonyítékokkal alátámasztott beszélgetés. A szabályzat által tiltott, nem feltárt használat esetén kapott alacsony pontszám továbbra is nem feltárt használat.

Egy olyan szerző számára, aki a saját vázlatát szerkeszti, mindebből a gyakorlati olvasat az, hogy a pontszám követi az írást. A Turnitin modellje mondatszintű mintázatot mér egy teljes dokumentumon belül, ezért a részleges átírások csak részleges elmozdulást eredményeznek, a szókincsbeli cserék pedig egyáltalán alig okoznak elmozdulást. Az AI szöveg humanizálásának módja című teljes áttekintés végigvezeti azokon a szerkezeti szerkesztéseken, amelyek megváltoztatják a mintázatot, mégpedig abban a sorrendben, amely a legnagyobb elmozdulást okozza.

A TextPulse AI humanizer ezeknek a szerkezeti szerkesztéseknek az egész dokumentumra kiterjedő alkalmazását egyszerre végzi el, és a szöveg alapján számított becsült Human Score-t közöl, soha nem azt jósolja meg, hogy bármely megnevezett detektor mit fog mondani. Egyetlen eszköz sem ígérhet Turnitin eredményt, mert egyetlen eszköz sem lát bele a Turnitin modelljébe. Bármely termék, amely ennek ellenkezőjét állítja, olyan eredményt ír le, amelyet nincs módja megfigyelni.

A humanizer és a parafrazáló közötti különbség itt fontos, ahogyan az is, hogy a parafrazált szöveg miért kap mégis jelölést.

A szám ebben a legkevésbé érdekes rész. Az eredményt az dönti el, hogy mi történik a jelölő húsz percében, miután megnézte: meg tudja-e mutatni a dolgozat a munkamenetét, a vázlatok történetét, egy jegyzetkészletet, olyan forrásokat, amelyekről az író úgy tud beszélni, hogy nem nyitja meg őket. Ez a bizonyíték bárki számára elérhető, aki elvégezte a munkát, és túléli azt az osztályzatot, amelyet egy átírás sem tudott elmozdítani.