Co to jest dobry wynik Turnitin?

Jednemu studentowi promotor mówi, że wszystko poniżej piętnastu procent jest w porządku. Inny student, również z tego samego wydziału, ma swoją pracę oznaczoną na korytarzu przy dwunastu procentach, ponieważ trzy z tych punktów mieszczą się w jednym nieprzerwanym akapicie bez żadnych cudzysłowów w pobliżu. Obydwaj poprawnie odczytują wynik podobieństwa Turnitin. To narzędzie od początku nie zostało stworzone po to, by przyznawać jedną liczbę oznaczającą zaliczenie albo niezaliczenie.

Więc czym jest dobry wynik Turnitin? Nie ma takiej liczby. Turnitin nie publikuje akceptowalnego procentu, nie ocenia zgłoszenia i wyraźnie stwierdza, że sama ta wartość nie jest miarą plagiatu. Każda instytucja ustala własne wytyczne, a często robi to także każdy promotor w jej obrębie, dlatego ten sam raport może wyglądać niepozornie w jednym gabinecie, a niepokojąco w następnym. Liczbą wartą zrozumienia jest to, jak odczytać to, co się za nią kryje.

Co to jest dobry wynik Turnitin?

Turnitin nigdy nie opublikował liczby, którą można by uznać za dobrą, bezpieczną lub akceptowalną, i to z konkretnego powodu: wynik podobieństwa mierzy, ile tekstu w zgłoszeniu pokrywa się z tekstem już znajdującym się w bazach danych Turnitin, a nie to, czy to pokrycie zostało wykorzystane niewłaściwie. Wysoki wynik może w całości wynikać z materiału, który jest poprawnie cytowany i opatrzony przypisami. Niski wynik może znajdować się powyżej pracy, która parafrazuje jedno źródło na tyle blisko, że sprawia trudność egzaminatorowi, nie uruchamiając przy tym w ogóle mechanizmu dopasowywania. Odczytywanie tej liczby jako oceny odwraca sens działania narzędzia.

Wartość taka jak od dziesięciu do dwudziestu procent krąży szeroko jako nieformalna zasada orientacyjna, powtarzana na forach i w poradnikach do nauki, aż zaczyna brzmieć oficjalnie. Nie jest oficjalna. Turnitin nie ustala takiej wartości, a zasada orientacyjna, która ignoruje długość dokumentu, gęstość cytowań i konwencję danej dyscypliny, rozpada się w chwili, gdy spotyka rzeczywistą pracę. Przegląd literatury zbudowany z trzydziestu poprawnie zacytowanych źródeł może przekroczyć dwadzieścia procent wyłącznie na samych cytatach. Jeden blisko sparafrazowany akapit bez cudzysłowów może mieścić się poniżej pięciu procent, a mimo to stanowić poważniejszy problem.

Co właściwie mierzy wynik podobieństwa

Turnitin opisuje własne narzędzie niemal dokładnie w takich samych kategoriach. Wskazówki Boise State University, oparte na własnym języku Turnitin, wyjaśniają, że wynik podobieństwa jest procentem treści pracy zgodnej z materiałem już znajdującym się w bazach danych Turnitin, a sam ten procent nie jest oceną tego, czy praca zawiera materiał splagiatowany. To rozróżnienie ma realne znaczenie, dopasowanie jest mechaniczne, ciąg słów ustawiający się w jednej linii z ciągiem słów gdzie indziej, a ocenienie, czy to nakładanie się zostało właściwie przypisane, wymaga człowieka, nie algorytmu.

Bazy danych stojące za dopasowaniem są szerokie celowo, obejmują bieżące i archiwalne prace studenckie, otwartą sieć oraz duży zasób publikacji akademickich. Żadna z tych treści nie jest odczytywana pod kątem znaczenia. System wyszukuje nakładające się ciągi słów i raportuje, jak dużą część przesłanej pracy obejmują, dlatego cytowane zdanie i zdanie skopiowane bez zaznaczenia mogą dać identyczne dopasowanie. Tylko szczegółowy widok raportu pokazuje, które jest które.

Dlaczego wysoki wynik może być całkowicie uzasadniony

Dwie zwyczajne cechy pisania akademickiego wyjaśniają większość takich przypadków. Cytowane fragmenty dopasowują się zgodnie z założeniem, ponieważ słowa są kopiowane celowo i oznaczone na stronie jako cudze. Listy bibliograficzne dopasowują się równie niezawodnie, ponieważ nazwiska autorów, tytuły czasopism i formaty cytowań powtarzają się w tysiącach innych prac odwołujących się do tych samych źródeł. Jedno i drugie jest tym, jak powinno wyglądać poprawne pisanie akademickie.

Ustawione obok siebie zawyżony wynik i rzeczywisty problem wyglądają na pierwszy rzut oka inaczej.

Co zostało dopasowane	Dlaczego tak się stało	Czy warto przyjrzeć się temu bliżej?
Cytowany fragment z cudzysłowem i przypisem	Słowa zostały skopiowane celowo i oznaczone jako cytat na stronie	Nie, tak wygląda poprawny cytat
Lista literatury lub bibliografia	Imiona i nazwiska autorów, tytuły czasopism oraz formaty cytowań powtarzają się w wielu innych pracach	Nie, chyba że ustawienie wykluczenia nie zostało zastosowane
Standardowe metody lub sformułowania proceduralne	Wspólne słownictwo danej dziedziny opisuje ten sam proces w ten sam sposób w różnych pracach	Rzadko, chyba że cały fragment został przeniesiony zamiast napisany od nowa
Jeden długi, nieprzerwany akapit bez cudzysłowów, odpowiadający jednemu źródłu	Brzmienie jest na tyle zbliżone do zdania innego autora, że silnik dopasowujący je wykrywa	Tak, to jest wzorzec, który warto otworzyć w źródle i sprawdzić

Dlaczego niski wynik może nadal ukrywać problem

Niska liczba odpowiada na węższe pytanie, niż się wydaje, mianowicie, czy niewielka ilość tekstu pokrywa się słowo w słowo z bazami danych Turnitin, i nic więcej. Parafraza, która zmienia wystarczająco dużo słownictwa, zachowując jednocześnie strukturę i argumentację innego autora, może uzyskać wynik bliski zeru, a mimo to stanowić poważny problem z integralnością, ponieważ silnik działa na ciągach słów, a nie na zapożyczonych ideach. Treści przetłumaczone lub materiał pochodzący spoza indeksowanych baz danych Turnitin zachowują się tak samo, brak dopasowania, brak oznaczenia.

Sfałszowane źródła tworzą tę samą ślepą plamę z innego kierunku. Pozycja bibliograficzna, która nie istnieje, nie może niczego dopasować, ponieważ nigdzie nie ma czego dopasowywać, a wynik podobieństwa nie ma sposobu, by oznaczyć cytowanie, które od początku nie było prawdziwe. Darmowy sprawdzacz cytowań AI TextPulse istnieje właśnie po to, by wypełnić tę lukę, rozpoznaje każdy wpis na liście literatury względem rzeczywistych rejestrów, w których te źródła powinny się pojawić, zanim czytelnik będzie musiał samodzielnie odkryć brak.

Jeszcze jedno rozróżnienie warto wprowadzić, zanim całkowicie odejdzie się od samej liczby. Zgłoszenie z niskim wynikiem podobieństwa może nadal zawierać odrębny wskaźnik pisania AI Turnitin, czyli inną miarę stworzoną do wykrywania innego rodzaju problemu, omówioną w przewodniku na tej stronie o tym, czy Turnitin rzeczywiście może wykrywać ChatGPT. Te dwa procenty nie są obliczane w ten sam sposób, a ten tekst dotyczy wyłącznie wyniku podobieństwa.

Jak czytać raport zamiast samej liczby

Nie należy reagować na wynik całkowity przed otwarciem zestawienia dopasowań. Turnitin uszereguje źródła osobowe, które składają się na wynik, według ich wkładu w ten wynik. Wynik całkowity na poziomie dwudziestu dwóch procent, złożony z jedenastu źródeł wnoszących po dwa procent każde, nie wygląda tak samo jak wynik złożony z jednego źródła. Pierwszy wzorzec zwykle odzwierciedla nakładanie się wielu powszechnych fraz. Drugi wymaga bezpośredniego sprawdzenia, co to źródło rzeczywiście mówi.

Turnitin porządkuje też ten sam procent w pasmo kolorów, odtworzone we własnych wytycznych Loughborough College dla studentów: niebieski dla braku dopasowanego tekstu, zielony od jednego słowa do dwudziestu czterech procent, żółty od dwudziestu pięciu do czterdziestu dziewięciu, pomarańczowy od pięćdziesięciu do siedemdziesięciu czterech, czerwony od siedemdziesięciu pięciu wzwyż. Własne wytyczne college'u mówią wprost, czym kolory nie są: sprawdzenia podobieństwa nie oznaczają, że zgłoszenie zawiera materiał splagiatowany. Kolor porządkuje raport pod kątem uwagi, a nie wydaje werdykt.

Warto też sprawdzić, czy własne ustawienia instytucji wyłączają zliczanie cytatów i bibliografii, ponieważ to samo zgłoszenie może dać dwie różne liczby w zależności od tego, jak ustawiono ten przełącznik. Nic z tego nie jest skomplikowane, gdy staje się widoczne. Jest niewidoczne tylko wtedy, gdy nikt nie otwiera raportu poza jego pierwszą stroną.

Co zrobić, jeśli wynik Cię zaskoczy

Otwórz ponownie każde oznaczone źródło osobno, zamiast reagować na łączną sumę. Potwierdź, czy wersja podlegająca ocenie ma wyłączone cytaty i bibliografię, ponieważ liczba widoczna dla studenta podczas pisania nie zawsze jest skonfigurowana tak samo jak liczba widoczna dla prowadzącego przy oddaniu pracy. Gdy pojawi się rzeczywiste niedające się przypisać dopasowanie, popraw cytowanie bezpośrednio, zamiast przeredagowywać zdania, aby prześlizgnąć się przez silnik dopasowujący, który traktuje objaw, a pozostawia problem bez zmian.

Jeśli liczba nadal wydaje się niezgodna z tym, czego oczekuje promotor, zapytaj wprost, jaka jest własna konwencja tego wydziału. Powyższe sekcje już pokazują, że nie ma jednej wartości docelowej, więc odpowiedź zależy od osoby mającej lokalne uprawnienia wobec zadania, a nie od procentu, który każdy mógł wcześniej sprawdzić. Zbiór bezpłatnych narzędzi TextPulse obejmuje kontrole cytowań i pisania, które warto uruchomić, zanim raport trafi do cudzej skrzynki odbiorczej.

Wyniki z różnych narzędzi nie są zamienne, a jak działa GPTZero zostało opisane na osobnej stronie, wraz z statystyką perplexity znajdującą się pod obiema wartościami.

Wynik zachowuje się tak, jak się zachowuje, ze względu na sposób działania dopasowań pod nim, a nowsza liczba widoczna obok niego w tym samym raporcie opiera się na innym mechanizmie, tym, który pełny opis zawiera w przewodniku tej strony po tym, jak naprawdę działają detektory AI. Odczytywanie którejkolwiek z tych liczb jako werdyktu pomija jedyną część raportu wartą przeczytania.