Co to jest dobry wynik Turnitin?

Jeden student słyszy od promotora, że wszystko poniżej piętnastu procent jest w porządku. Inny student, również na tym samym wydziale, ma swoją pracę oznaczoną na korytarzu jako dwanaście procent, ponieważ trzy z tych punktów przypadają na jeden nieprzerwany akapit bez cudzysłowów w pobliżu. Oboje poprawnie odczytują wynik podobieństwa Turnitin. To narzędzie nigdy nie zostało stworzone po to, aby od początku przyznawać jedną liczbę oznaczającą zaliczenie albo niezaliczenie.

Jaki więc jest dobry wynik Turnitin? Nie ma takiej liczby. Turnitin nie publikuje akceptowalnego procentu, nie ocenia zgłoszenia i wyraźnie stwierdza, że sama ta wartość nie jest samodzielnym miernikiem plagiatu. Każda instytucja ustala własne wytyczne, a często robi to także każdy promotor w jej obrębie, dlatego ten sam raport może wyglądać niegroźnie w jednym biurze, a niepokojąco w następnym. Warto nauczyć się nie liczby, lecz tego, jak odczytywać to, co się za nią kryje.

Jaki jest dobry wynik Turnitin?

Turnitin nigdy nie opublikował liczby, którą można by uznać za dobrą, bezpieczną lub akceptowalną, i to z konkretnego powodu: wynik podobieństwa mierzy, ile tekstu w zgłoszeniu pokrywa się z tekstem już znajdującym się w bazach danych Turnitin, a nie to, czy to pokrycie zostało wykorzystane niewłaściwie. Wysoki wynik może w całości wynikać z materiału poprawnie zacytowanego i opatrzonego odwołaniem. Niski wynik może dotyczyć pracy, która parafrazuje jedno źródło na tyle blisko, że budzi zastrzeżenia egzaminatora, nie uruchamiając przy tym w ogóle mechanizmu dopasowywania. Odczytywanie liczby jako oceny odwraca sens działania narzędzia.

Wartość rzędu dziesięciu do dwudziestu procent krąży szeroko jako nieformalna zasada orientacyjna, powtarzana na forach i w poradnikach do nauki, aż zaczyna brzmieć oficjalnie. Nie jest oficjalna. Turnitin nie ustala takiej wartości, a zasada orientacyjna, która ignoruje długość dokumentu, gęstość cytowań i konwencję danej dyscypliny, załamuje się w chwili, gdy spotyka rzeczywisty tekst. Przegląd literatury zbudowany z trzydziestu poprawnie zacytowanych źródeł może przekroczyć dwadzieścia procent wyłącznie na samych cytatach. Jeden blisko sparafrazowany akapit bez cudzysłowów może mieścić się poniżej pięciu procent, a mimo to stanowić poważniejszy problem.

Co właściwie mierzy wynik podobieństwa

Turnitin opisuje własne narzędzie niemal dokładnie w takich kategoriach. Wskazówki Boise State University, oparte na własnym języku Turnitin, wyjaśniają, że wynik podobieństwa jest procentem treści pracy zgodnej z materiałem już znajdującym się w bazach Turnitin, a sam procent nie jest oceną tego, czy praca zawiera materiał splagiatowany. To rozróżnienie ma realne znaczenie: dopasowanie jest mechaniczne, to ciąg słów ustawiony w jednej linii z ciągiem słów gdzie indziej, natomiast ocena, czy to nakładanie się zostało właściwie przypisane, wymaga człowieka, nie algorytmu.

Bazy danych stojące za dopasowaniem są szerokie z założenia: bieżące i archiwalne prace studentów, otwarta sieć oraz duży zbiór publikacji akademickich. Żadna z tych treści nie jest odczytywana pod względem znaczenia. System wyszukuje nakładające się ciągi słów i raportuje, jaką część pracy obejmują, dlatego zacytowane zdanie i cicho skopiowane zdanie mogą dać identyczne dopasowanie. Tylko szczegółowy widok raportu pokazuje, które jest które.

Dlaczego wysoki wynik może być całkowicie uzasadniony

Dwie zwyczajne cechy pisarstwa akademickiego odpowiadają za większość takich przypadków. Fragmenty w cudzysłowie dopasowują się zgodnie z założeniem, ponieważ słowa są kopiowane celowo i oznaczone na stronie jako cudze. Spisy literatury dopasowują się równie niezawodnie, ponieważ nazwiska autorów, tytuły czasopism i formaty cytowań powtarzają się w tysiącach innych prac odwołujących się do tych samych źródeł. Oba te elementy są tym, jak poprawne pisanie akademickie powinno wyglądać.

Gdy zestawi się je obok siebie, zawyżony wynik i rzeczywisty problem wyglądają na pierwszy rzut oka inaczej.

Co dopasowano	Dlaczego tak się stało	Czy warto przyjrzeć się temu bliżej?
Zacytowany fragment z cudzysłowem i przypisem	Słowa zostały skopiowane celowo i opatrzone wskazaniem źródła na stronie	Nie, tak wygląda poprawny cytat
Lista literatury lub bibliografia	Nazwiska autorów, tytuły czasopism i formaty cytowań powtarzają się w wielu innych pracach	Nie, chyba że ustawienie wykluczenia nie zostało zastosowane
Standardowe sformułowania metod lub procedur	Wspólne słownictwo danej dziedziny opisuje ten sam proces w ten sam sposób w różnych pracach	Rzadko, chyba że cały fragment został przejęty, a nie napisany od nowa
Jeden długi, nieprzerwany akapit bez cudzysłowów, odpowiadający jednemu źródłu	Brzmienie jest na tyle zbliżone do zdania innego autora, że silnik dopasowujący je wychwytuje	Tak, to jest wzorzec, który warto otworzyć w źródle i sprawdzić

Dlaczego niski wynik nadal może ukrywać problem

Niska liczba odpowiada na węższe pytanie, niż się wydaje, mianowicie, czy niewielka ilość tekstu pokrywa się słowo w słowo z bazami danych Turnitin, i nic więcej. Parafraza, która zmienia wystarczająco dużo słownictwa, a jednocześnie zachowuje strukturę i argumentację innego autora, może uzyskać wynik bliski zeru, a mimo to stanowić poważny problem integralności, ponieważ silnik działa na ciągach słów, a nie na zapożyczonych ideach. Treści przetłumaczone albo materiały spoza zindeksowanych baz danych Turnitin zachowują się tak samo, nie ma czego dopasować, nic nie zostaje oznaczone.

Fałszywie utworzone źródła tworzą tę samą ślepą plamę z innego kierunku. Odniesienie, które nie istnieje, nie może z niczym się zgadzać, ponieważ nigdzie nie ma niczego, z czym mogłoby się zgadzać, a wynik podobieństwa nie ma sposobu, by oznaczyć cytat, który od początku nigdy nie był prawdziwy. Darmowy AI citation checker TextPulse istnieje właśnie po to, by wypełnić tę lukę, sprawdza każdy wpis na liście bibliograficznej względem rzeczywistych rejestrów, w których te źródła powinny się pojawić, zanim czytelnik będzie musiał samodzielnie wykryć tę lukę.

Jeszcze jedno rozróżnienie warto wprowadzić, zanim przejdzie się całkowicie poza samą liczbę. Praca z niskim wynikiem podobieństwa może nadal zawierać odrębny wskaźnik pisania AI Turnitin, inny pomiar zbudowany po to, by wykrywać inny rodzaj problemu, omówiony w przewodniku na tej stronie o tym, czy Turnitin rzeczywiście może wykryć ChatGPT. Te dwa procenty nie są obliczane w ten sam sposób, a ten tekst dotyczy wyłącznie wyniku podobieństwa.

Jak czytać raport zamiast liczby

Nie reaguj na wynik całkowity, zanim nie otworzysz zestawienia dopasowań. Turnitin uszereguje źródła osobowe, które składają się na wynik, według ich wkładu w ten wynik. Łączny wynik dwadzieścia dwa procent, złożony z jedenastu źródeł wnoszących po dwa procent każde, nie brzmi tak samo jak wynik złożony z jednego źródła. Pierwszy wzorzec zwykle odzwierciedla nakładanie się wielu powszechnych fraz. Drugi wymaga bezpośredniego sprawdzenia, co to źródło rzeczywiście mówi.

Turnitin dzieli także ten sam procent na przedział kolorów, odtworzony we własnych wytycznych Loughborough College dla studentów: niebieski dla tekstu bez dopasowań, zielony od jednego słowa do dwudziestu czterech procent, żółty od dwudziestu pięciu do czterdziestu dziewięciu, pomarańczowy od pięćdziesięciu do siedemdziesięciu czterech, czerwony od siedemdziesięciu pięciu wzwyż. Własne wytyczne college'u mówią wprost, czym kolory nie są: sprawdzenia podobieństwa nie oznaczają, że praca zawiera materiał splagiatowany. Kolor porządkuje raport pod kątem uwagi, a nie wydaje werdyktu.

Warto też sprawdzić, czy własne ustawienia instytucji wykluczają cytaty i bibliografię z liczenia, ponieważ to samo zgłoszenie może dać dwie różne liczby w zależności od tego, jak ustawiono ten przełącznik. Nic z tego nie jest skomplikowane, gdy jest widoczne. Jest niewidoczne tylko wtedy, gdy nikt nie otwiera raportu poza jego pierwszą stroną.

Co zrobić, jeśli Twój wynik Cię zaskoczy

Otwórz ponownie każde oznaczone źródło osobno, zamiast reagować na łączną sumę. Potwierdź, czy oceniana wersja ma wyłączone cytaty i bibliografię z liczenia, ponieważ liczba, którą student widzi podczas pisania, nie zawsze jest skonfigurowana tak samo jak liczba, którą instruktor widzi przy oddaniu pracy. Jeśli pojawi się rzeczywiste niedokumentowane dopasowanie, popraw cytowanie bezpośrednio, zamiast parafrazować zdania, aby prześlizgnąć się przez mechanizm dopasowujący, który traktuje objaw, a pozostawia problem na miejscu.

Jeśli liczba nadal wydaje się niezgodna z tym, czego oczekuje promotor, zapytaj wprost, jaka jest własna konwencja tego wydziału. Powyższe sekcje już pokazują, że nie ma jednej granicy, do której trzeba dojść, więc odpowiedź leży po stronie osoby, która ma lokalne uprawnienia do tego zadania, a nie po stronie jakiegoś procentu, który można było sprawdzić z wyprzedzeniem. Zbiór bezpłatnych narzędzi TextPulse obejmuje kontrole cytowania i redagowania, które warto uruchomić, zanim raport trafi do czyjejś skrzynki odbiorczej.

Wyniki z różnych narzędzi nie są wymienne, a jak działa GPTZero zostało opisane na osobnej stronie, wraz z statystyką perplexity leżącą pod obiema.

Wynik zachowuje się tak, jak się zachowuje, z powodu sposobu działania dopasowywania pod nim, a nowsza liczba stojąca teraz obok niego w tym samym raporcie działa na innej mechanice, tej, którą w pełni przedstawia przewodnik tej strony po tym, jak naprawdę działają detektory AI. Odczytywanie którejkolwiek z tych liczb jako werdyktu pomija jedyną część raportu wartą przeczytania.