Czy detektory AI są dokładne? Fałszywe alarmy i stronniczość
Dostawcy publikują wskaźniki fałszywych alarmów poniżej 1 procenta. Niezależni badacze testujący te same detektory na tekstach pisanych przez osoby niebędące native speakerami języka angielskiego stwierdzili wskaźniki powyżej 60 procent. Oto, co pokazują dowody.
Turnitin twierdzi, że ich wskaźnik fałszywie dodatnich wyników jest niższy niż 1%. Grupa niezależnych badaczy przetestowała wiele detektorów na szerszym zbiorze próbek pisma od osób, dla których angielski nie jest językiem ojczystym. Ustalili, że średni wskaźnik fałszywie dodatnich wyników wynosił ponad 60% w przypadku tego samego rodzaju pisma. Obie liczby są prawdziwe, obie zostały opublikowane i obie dotyczą detektorów sprzedawanych na tym samym rynku. Czy detektory AI są dokładne? To zależy od tego, jaką populację przetestowano, jakiego detektora użyto i jak dostawca zdefiniował to pojęcie od samego początku.
Ten wpis nie będzie ponownie wyjaśniał, jak detektor oblicza ten wynik. Mechanizm, perplexity, prawdopodobieństwo tokenów, sposób trenowania klasyfikatora, jest szczegółowo omówiony w innym miejscu i warto najpierw to przeczytać, jeśli jeszcze tego nie zrobiono. Istotne jest tutaj to, co dzieje się, gdy wynik już istnieje, jak często jest błędny, czyje pisanie najczęściej błędnie ocenia oraz ile tak naprawdę kosztuje fałszywe oskarżenie kogoś, kto nie zrobił nic złego.
Czy detektory AI są dokładne?
Nie są konsekwentnie dokładne, a rozbieżność między twierdzeniami marketingowymi a niezależnymi testami jest dobrze udokumentowana. Grupa badaczy kierowana przez Deborę Weber-Wulff opublikowała wyniki dotyczące 14 narzędzi detekcyjnych, w tym 12 bezpłatnych i dwóch komercyjnych, które przetestowano na mieszaninie tekstów ludzkich i tekstów ChatGPT w 2023 roku. Ustalili, że żadne z tych narzędzi nie są dokładne ani wiarygodne, a ich wbudowane uprzedzenie polega na oznaczaniu tekstu maszynowego jako ludzkiego, a nie odwrotnie. Dwa z komercyjnych narzędzi uwzględnionych w tym teście to Turnitin i PlagiarismCheck. Wszystkie narzędzia w tym teście działały gorzej, gdy tekst był parafrazowany.
Jednak po dwóch latach sytuacja nie jest zastana. Working paper z Booth School Uniwersytetu Chicago, autorstwa Briana Jabariana i Alexa Imasa, poddał próbie trzech nowych uczestników, Pangram, GPTZero i Originality.ai, oraz jednego konkurenta open source, wykorzystując niemal 2,000 tekstów napisanych przez ludzi, pochodzących z blogów, wiadomości, recenzji i fikcji. W kontrolowanych warunkach testowych najlepsze narzędzie w tym zestawieniu nigdy nie spadło poniżej 99.8 percent accuracy i utrzymało niski poziom false positive rate. Model open source wypadł równie dobrze jak losowy zgadywacz. Sytuacja rzeczywiście się poprawiła. W pewnym sensie. Trochę.
Haczyk polega jednak na słowie kontrolowanych. Fragmenty benchmarkowe są czyste, kompletne i wytworzone w znanych warunkach. Złożony esej nie spełnia żadnego z tych warunków w sposób niezawodny. Wyniki w rzeczywistych warunkach mogą nie być identyczne z wynikami laboratoryjnymi, jak publicznie powiedział sam chief product officer Turnitin, choć jest to rzadkie i użyteczne przyznanie ze strony dostawcy. Następna sekcja zestawia liczby podawane przez dostawcę z liczbami niezależnymi, tak aby różnica była widoczna, a nie tylko deklarowana.
Twierdzenia dostawców a niezależne testy
Poniższa tabela zestawia to, co cztery detektory deklarują o sobie, z tym, co zmierzyli niezależni badacze, gdy testowali narzędzia bezpośrednio. Należy czytać razem dwie środkowe kolumny, a nie tylko kolumnę dostawcy.
| Detektor | Deklarowana przez dostawcę dokładność | Niezależnie zaobserwowana | Co dostawca mówi o wynikach fałszywie dodatnich |
|---|---|---|---|
| Turnitin | Próg pewności 98% przed oznaczeniem, poniżej 1% fałszywie dodatnich na poziomie dokumentu | Około 80% dokładności, najlepszy wynik spośród 12 narzędzi w porównaniu z 2023 roku, w starszej wersji narzędzia | Poniżej 1% na poziomie dokumentu powyżej progu 20% tekstu napisanego przez AI, około 4% na poziomie zdania |
| GPTZero | 95.7% wykrywania tekstu AI przy 1% wskaźniku fałszywie dodatnich w niezależnym benchmarku RAID | 96% dokładności w krótkich fragmentach, wskaźnik fałszywie dodatnich poniżej 1% w badaniu University of Chicago Booth z 2025 roku | Podaje 1% wskaźnik fałszywie dodatnich w benchmarku RAID |
| Originality.ai | 99% dokładności, 0.5% wskaźnik fałszywie dodatnich, model Lite, 1.5%, model Turbo | Wskaźnik fałszywie dodatnich poniżej 1%, ale przeoczył od 10% do 40% tekstu napisanego przez AI w tym samym badaniu Booth | Publikuje oddzielne wartości fałszywie dodatnich według poziomu modelu |
| Pangram | Wskaźniki błędu, które według niego są ponad 38 razy niższe niż w narzędziach konkurencyjnych, twierdzi, że nie ma uprzedzeń wobec piszących po angielsku osób niebędących native speakerami | Dokładność nigdy nie spadła poniżej 99.8%, wskaźnik fałszywie dodatnich bliski zeru, w badaniu Booth | Twierdzi, że wskaźniki fałszywie dodatnich są bliskie zeru w 10 domenach tekstowych i 8 modelach językowych |
Dwie rzeczy rzucają się w oczy. Po pierwsze, wszystkie dane dostawców pochodzą z laboratorium kontrolowanego przez dostawcę, a dane Booth pochodzą od badaczy, którzy nie mają nic do sprzedania. Po drugie, Turnitin w ogóle nie pojawia się w tej środkowej kolumnie, ponieważ badanie z 2025 roku nie testowało tego narzędzia. W tabeli jego niezależna wartość opiera się na wcześniejszym porównaniu z 2023 roku, ale została uzyskana na starszej wersji narzędzia, więc należy o tym pamiętać, patrząc na tabelę jako na porównanie typu like-for-like.
Jak dokładne jest wykrywanie AI przez Turnitin?
Turnitin nie publikuje jednej wartości dokładności. Zamiast tego publikuje próg i kompromis. Firma stwierdziła, że oznacza dokument tylko wtedy, gdy ma 98 procent pewności, że oznaczona część została napisana przez AI, i że to właśnie ten próg utrzymuje odsetek fałszywie dodatnich wyników na poziomie całego dokumentu poniżej 1 procent. Turnitin oszacował, że wykrywa około 85 procent tekstów wspomaganych przez AI, przepuszczając resztę celowo, zamiast ryzykować błędny zarzut.
Rzeczywisty odsetek fałszywie dodatnich wyników, jaki Turnitin zwraca na poziomie zdania, gdzie interfejs wyróżnia konkretne linie zamiast całego dokumentu, jest w rzeczywistości bliższy 4 procent. To liczba, którą warto znać, jeśli profesor robi zrzut ekranu pojedynczego oznaczonego akapitu, a nie wyniku dla całego dokumentu, ponieważ wyróżnione zdanie niesie ze sobą istotnie większe prawdopodobieństwo błędu niż widoczny obok niego wynik dla dokumentu.
Warto też zauważyć, że Turnitin przyznał wprost istnienie tej rozbieżności. Ustalono, że ich pierwsze wyniki z rzeczywistego użycia, zwłaszcza dla krótszych dokumentów, miały wyższe wskaźniki fałszywie dodatnich wyników, niż oczekiwano na podstawie testów laboratoryjnych. Dlatego dostosowali minimalną długość dokumentu wymaganą do oceny z 150 do 300 słów. To dostawca, który dostosowuje własny produkt, ponieważ opublikowana liczba nie sprawdziła się poza laboratorium, co mówi tyle samo, co każde badanie niezależne.
Co fałszywie dodatni wynik rzeczywiście kosztuje studenta
Przydarzyło się to studentowi executive MBA w Yale's School of Management. Student został oskarżony o naruszenie, w najbardziej dosłownym możliwym sensie. Użytym detektorem był GPTZero. Egzamin końcowy studenta z kursu finansów został oznaczony przez asystenta dydaktycznego, który uznał, że tekst był długi i rozwlekły, z niemal idealną interpunkcją i gramatyką. A ten konkretny profesor przepuszczał go przez GPTZero, które oceniło odpowiedzi jako prawdopodobnie wygenerowane przez AI.
Nie zaliczył kursu i został zawieszony na rok. Jego pozew, złożony w sądzie federalnym w lutym 2025, twierdzi, że własna polityka Yale ogranicza użycie narzędzi takich jak GPTZero właśnie z tego powodu, jego udokumentowanego wskaźnika fałszywie dodatnich wyników wobec osób niebędących rodzimymi użytkownikami języka angielskiego, oraz że użył go z naruszeniem tej polityki. W piśmie procesowym przywołano również, że GPTZero przypisał 100 procentowy wynik tekstowi akademickiemu autorstwa byłego rektora Yale i dziekana szkoły biznesu.
Sędzia odmówił wydania w maju 2025 wstępnego nakazu sądowego. Sprawa nadal nie została rozstrzygnięta, gdy to piszę. Powód, obywatel Francji, twierdzi, że ta sama znana stronniczość wobec osób niebędących rodzimymi użytkownikami języka angielskiego spowodowała, że jego tekst wypadł tak, jak wypadł. To właśnie analizujemy w następnej sekcji. To, co nie podlega dyskusji, to cena, rok stracony z programu studiów, ocena niedostateczna, koszty prawne i kilka miesięcy spędzonych na sporze o wynik zamiast na zdobywaniu dyplomu. 1 procentowy wskaźnik fałszywie dodatnich wyników brzmi niewinnie, dopóki duża populacja nie sprawi, że stanie się on czyimś konkretnym problemem.
Humanizuj własną pracę
Przekształć tekst wspomagany przez AI i spraw, by brzmiał naturalnie, bez naruszania ważnych słów ani cytowań.
Jakie cechy pisma sprawiają, że tekst ludzki wygląda jak wygenerowany przez maszynę
Cztery rodzaje zwykłego pisania niosą ze sobą największe ryzyko i żaden z nich nie oznacza, że ktoś robi coś niewłaściwego. Krótkie dokumenty, pisanie silnie sformalizowane, materiał cytowany lub oparty na szablonie oraz tekst, który został bardzo starannie zredagowany, mają tendencję do uzyskiwania wyniku wskazującego na większą przewidywalność niż proza tworzona swobodnie, a to właśnie tę jedną właściwość mierzy każdy detektor. darmowy checker burstiness mierzy tę samą zmienność bezpośrednio, co jest szybszym sposobem dostrzeżenia wzorca niż czytanie jego opisu.
Niektóre gatunki z definicji mają charakter schematyczny. Sekcja metod, raport laboratoryjny, standardowy list motywacyjny i przegląd literatury wszystkie premiują zwrot konwencjonalny zamiast pomysłowego, ponieważ to właśnie konwencja sprawia, że dokument jest użyteczny dla czytelnika. Badacze sprawdzili to bezpośrednio na rzeczywistym piśmiennictwie: przeanalizowali 14,400 abstraktów czasopism opublikowanych między 1980 i 2023, czyli w latach poprzedzających istnienie jakiegokolwiek dużego modelu językowego, za pomocą publicznie dostępnego detektora. Do 8 percent zostało oznaczonych jako wygenerowane przez AI niezależnie od roku publikacji, a abstrakty New England Journal of Medicine zostały oznaczone na poziomie 10.24 percent, co stanowiło najwyższy odsetek wyników fałszywie dodatnich spośród pięciu testowanych czasopism.
Test nie mógł wykrywać niczego związanego z ChatGPT, ponieważ ChatGPT nie istniał przez większość lat, z których pobierano próbki. Wykrywał gatunek. Mówiąc bardziej formalnie, jak ujęłaby to statystyczna analiza problemu wykrywania z 2026, nie ma sposobu, by zbudować detektor, który odróżni zdanie przewidywalne, ponieważ zostało napisane przez oprogramowanie, od zdania przewidywalnego, ponieważ jest to rodzaj wypowiedzi, jaką pisze się w danym gatunku. Z zewnątrz wyglądają dokładnie tak samo.
Silna redakcja prowadzi w podobnym kierunku. Pierwszy szkic zawiera specyficzne nieregularności autora, nietypowy szyk wyrazów, zdanie, które staje się zbyt długie, ponieważ taka była myśl. Dokładna korekta, zwłaszcza przeprowadzona z użyciem innego narzędzia, ma tendencję do wygładzania właśnie tych nieregularności. Największe dotąd niezależne porównanie narzędzi do wykrywania przetestowało 14 z nich i wykazało, że trafność spadała jeszcze bardziej, we wszystkich narzędziach, gdy tekst próbki został sparafrazowany lub przetłumaczony maszynowo.
| Cechy pisma | Dlaczego obniża to pozorną nieprzewidywalność dokumentu | Co pokazują dowody |
|---|---|---|
| Krótkie zgłoszenia | Mniejsza ilość tekstu pozostawia mniej miejsca na naturalną zmienność, która odróżnia ludzki rytm od rytmu maszyny | Wyniki dla krótkich dokumentów bardziej się wahają pod wpływem kilku nietypowych zdań |
| Pismo schematyczne lub specyficzne dla danej dyscypliny | Konwencja gatunkowa nagradza oczekiwane sformułowanie bardziej niż twórcze | 14,400 abstraktów z czasopism sprzed ChatGPT (1980 to 2023) nadal wywoływało do 8% wyników fałszywie dodatnich, abstrakty jednego czasopisma osiągnęły 10.24% |
| Silnie redagowane lub sparafrazowane wersje robocze | Etap dopracowania wygładza indywidualne nieregularności, które detektor odczytuje jako ludzkie | Niezależne porównanie 14 narzędzi wykazało, że dokładność spadała jeszcze bardziej po parafrazowaniu lub tłumaczeniu maszynowym |
| Materiał cytowany lub szablonowy | Cytowany fragment niesie statystyczny podpis swojego źródła, a nie autora cytującego | Detektory, które nie wykluczają cytatów, oceniają otaczający dokument na podstawie zapożyczonego tekstu |
Dlaczego detektory AI błędnie klasyfikują osoby, dla których angielski nie jest językiem ojczystym?
Źle, i to z dużą różnicą. Taki właśnie wniosek płynie z badania, które jako pierwsze ujęło to liczbowo. Badacze ze Stanford uruchomili siedem szeroko używanych detektorów GPT na 91 esejach TOEFL napisanych przez osoby, dla których angielski nie jest językiem ojczystym, oraz na 88 esejach uczniów ósmej klasy ze Stanów Zjednoczonych. Detektory niemal za każdym razem poprawnie rozpoznawały eseje ósmoklasistów. Jeśli chodzi o eseje TOEFL, napisane przez dorosłych, którzy znali angielski na tyle dobrze, by zdawać test z języka angielskiego na poziomie studiów magisterskich, detektory osiągnęły średni wskaźnik wyników fałszywie dodatnich na poziomie 61.3 percent. W 89 z 91 esejów co najmniej jeden z siedmiu detektorów uznał, że zostały wygenerowane przez GPT, a 18 z tych esejów zostało tak oznaczonych przez wszystkie siedem detektorów.
Mechanizm jest taki sam jak ten, który rządzi resztą wykrywania: przewidywalne słownictwo i prostsza konstrukcja zdań są odczytywane jako niska perplexity, a niska perplexity jest odczytywana jako wytworzona przez maszynę, niezależnie od tego, kto trzyma pióro. Autorzy pracujący w drugim języku opierają się na dobrze ugruntowanych sformułowaniach, ponieważ właśnie tak wygląda płynność w dodatkowym języku, a to dokładnie taki profil, jaki detektor został zbudowany, aby oznaczać.
Autorzy w takiej sytuacji nie otrzymują dobrej pomocy z rady, by po prostu pisać bardziej naturalnie, ponieważ właśnie to, co naturalne, zostało oznaczone. Strona TextPulse dla autorów akademickich ESL omawia bardziej szczegółowo wzorce sformułowań stojące za tym ryzykiem, w tym to, co je zmienia bez zmieniania znaczenia zdania.
Nie był to przypadek odosobniony. W grudniu 2025 roku opublikowano nowy benchmark, zaprojektowany wyraźnie do oceny stronniczości w tych detektorach. Obejmował on ponad 200,000 próbek z wielu grup demograficznych i języków. Mimo że minęły dwa lata od pierwszego badania Stanford i mimo uwzględnienia wielu różnych wersji modeli tych samych detektorów, ten benchmark ujawnił, że stronniczość wobec osób uczących się języka angielskiego nadal występuje.
Nie dotyczy to wszystkich dostawców. Własna dokumentacja techniczna Pangram stwierdza, że jej klasyfikator nie jest stronniczy wobec osób niebędących rodzimymi użytkownikami języka angielskiego. Badacze z Chicago Booth nie przetestowali tego twierdzenia niezależnie, ale pokazuje ono, że nowsza generacja detektorów jest budowana z uwzględnieniem tego problemu, a nie z jego pomijaniem.
Jeśli chcesz zobaczyć, gdzie znajduje się własny tekst, zanim ktokolwiek go oceni, bezpłatny sprawdzacz perplexity podaje tę samą wartość, którą obliczyłby detektor, bez wcześniejszego przesyłania czegokolwiek do instytucji.
Kto jeszcze jest oznaczany i dlaczego
Osoby, dla których angielski nie jest językiem ojczystym, ponoszą największe udokumentowane ryzyko, ale ta sama logika statystyczna obejmuje także inne teksty. Zespół Weber-Wulff stwierdził, że wszystkie 14 narzędzi, które testowali, działały mniej dokładnie, gdy stosowano je do tekstów sparafrazowanych, a to opisuje znaczącą część pisarstwa akademickiego, które zostało wcześniej sprawdzone przez korektora, redaktora albo poprawione czerwonym długopisem przez promotora, zanim ktokolwiek uruchomił na nim detektor.
Nic z tego nie oznacza, że liczba jest bez znaczenia, jedynie to, że wymaga potwierdzenia, zanim zacznie cokolwiek znaczyć w odniesieniu do konkretnej osoby. Jeśli masz tekst, który brzmi jednolicie, ma podobną długość zdań, podobny rytm w całym tekście, otrzyma on wyższy wynik jako bardziej maszynowy, niezależnie od tego, kto go napisał i dlaczego. Można to sprawdzić bezpośrednio za pomocą free burstiness checker zamiast zgadywać.
Druga, rzadziej omawiana grupa mierzy się z problemem pokrewnym. Badacze porównali około 60,000 postów z Reddit, podzielonych na podzbiór uznany za prawdopodobnie napisany przez autorów autystycznych oraz próbę ogólną, i przepuścili oba zbiory przez detektor oparty na GPT-2. W obu grupach odsetek oznaczonych tekstów pozostał łącznie poniżej 2 percent, ale podzbiór uznany za prawdopodobnie autystyczny był oznaczany ze znacząco wyższą częstością niż próba ogólna. Pisanie, które skłania się ku dosłownemu, powtarzalnemu, ściśle uporządkowanemu sformułowaniu, co jest udokumentowaną cechą niektórych autystycznych stylów komunikacji, wytwarza dokładnie taki tekst o niskiej zmienności, do wykrywania którego detektor został zbudowany.
Dlaczego pewny wynik nie jest pewnym oskarżeniem
Wskaźnik fałszywie dodatnich wyników brzmi tak, jakby odnosił się do prawdopodobieństwa, że jeden student oznaczony jako problematyczny jest niewinny. Ale nie. Opisuje on, jak test działa w przypadku wszystkich osób, które go wykonują. A to są różne pytania z różnymi odpowiedziami, tak jak w każdym teście przesiewowym w medycynie albo bezpieczeństwie.
Analiza statystyczna z marca 2026 roku, przeprowadzona przez badacza z Griffith University, explicite ujawnia leżącą u podstaw matematykę. Jeśli traktować wykrywanie AI jako test stosowany do populacji studentów piszących, a nie do jednego odosobnionego dokumentu, pojawia się kompromis: ilekroć pewna część tej populacji pisze w sposób, który naturalnie pokrywa się z typowym wynikiem AI, blisko konwencji gatunkowej, blisko zakresu osoby uczącej się drugiego języka, każdy detektor o rzeczywistej skuteczności w wykrywaniu tekstów napisanych przez AI musi mylić się wobec części tej nakładającej się grupy. Nie jest to twierdzenie o tym, że konkretny detektor został źle skonstruowany. Jest to właściwość testowania zróżnicowanej populacji na podstawie jednego dokumentu i bez żadnych innych dowodów.
Sam ilustracyjny przykład z artykułu pokazuje skalę tego zjawiska. Załóżmy, że 10 percent populacji studentów pisze na tyle podobnie do typowego wyniku AI, a detektor jest dostrojony tak, by wykrywać 80 percent rzeczywistych tekstów napisanych przez AI. Matematyka wymaga wtedy średniego odsetka fałszywie dodatnich wyników wynoszącego co najmniej 7.5 percent w całej tej populacji. Nie jest to wada inżynieryjna detektora, lecz bezpośrednia konsekwencja tego, jak silnie pisanie tej grupy statystycznie pokrywa się z tym, co ma być wykrywane.
Przeskalowane do uniwersytetu liczącego 10,000 studentów, samo to dolne ograniczenie oznacza około 750 fałszywych alarmów w całej populacji, co stanowi matematyczny skutek testowania zróżnicowanej populacji na podstawie jednego dokumentu, bez żadnych innych dowodów, które można by uwzględnić. Autor artykułu wyraźnie zaznacza, że te konkretne liczby mają charakter ilustracyjny, a nie zostały zmierzone w rzeczywistej instytucji. Przykład pokazuje kształt problemu, a nie konkretną prognozę dla jakiegokolwiek jednego kampusu.
Jak wygląda obronna polityka wykrywania AI
Yale już miało politykę, która podobno ogranicza narzędzia takie jak GPTZero, z powodów bliskich tym, które przedstawiono w tym artykule: udokumentowanego odsetka fałszywie dodatnich wyników oraz udokumentowanego uprzedzenia wobec osób piszących po angielsku nie jako native speakerzy. Nie jest to więc tyle historia jednego pechowego studenta, ile historia istniejącej zasady, która nie została zastosowana. Gdy polityka rzeczywiście egzekwuje różnicę między wynikiem a werdyktem, wynik staje się jednym z danych wejściowych, a nie werdyktem.
- Traktuj wynik jako jeden z elementów, nigdy jako jedyną podstawę do stwierdzenia naruszenia
- Przed użyciem narzędzia przeciwko studentom ujawnij im opublikowany przez to narzędzie wskaźnik fałszywie dodatnich wyników
- Stosuj szczególną ostrożność wobec krótkich prac i tekstów napisanych przez osoby niebędące rodzimymi użytkownikami języka angielskiego, oba te przypadki są udokumentowanymi słabymi punktami
- Zagwarantuj możliwość odwołania, która nie wymaga obalania statystyki
Nic z tego nie jest niezwykłe. Jest to bliższe temu, jak należałoby traktować każdy pojedynczy dowód kryminalistyczny gdzie indziej, użyteczny, możliwy do sprawdzenia i nigdy niewystarczający sam w sobie.
W przypadku pojedynczego autora ta sama zasada obowiązuje zanim pojawi się wynik, a nie dopiero po nim. Pojedyncza liczba, z dowolnego narzędzia, jest szacunkiem, a nie werdyktem, a traktowanie jej jako pewności w obu kierunkach, że jest się bezpiecznym albo przyłapanym, wymaga od tej liczby więcej, niż może ona uzasadnić.
Własne narzędzie AI humanizer TextPulse podaje Human Score zgodnie z tą samą logiką, jest to szacunek obliczony na podstawie własnego tekstu, a nie werdykt detektora na jego temat, użyteczny jako sygnał tego, jak obecnie brzmi szkic, a nie jako obietnica tego, co powie konkretny detektor.
Pytanie o dokładność rozdziela się na węższe kwestie, z których każda ma własną stronę. Konkretne dowody dotyczące wskaźnika fałszywie dodatnich wyników Turnitin oraz dokładności ZeroGPT są omówione osobno. Jeśli wynik został już użyty przeciwko Tobie, dostępne są praktyczne materiały o tym, co zrobić, gdy zostaniesz oskarżony o użycie AI, o dowodach, które możesz zebrać, aby udowodnić, że nie użyłeś AI, oraz o pisaniu pisma odwoławczego, które odpowiada na wynik na jego własnych warunkach.
Liczba w każdym raporcie będzie się nadal zmieniać, gdy dostawcy będą ponownie trenować swoje modele, a badacze będą nadal testować je na trudniejszych przypadkach. Nie powinno się jednak zmieniać to, co leży pod nią, nawyk: czytaj wynik jako jeden z kilku pomiarów, pytaj, na jakiej populacji został zwalidowany, i pytaj, czego dostawca nie mówi o przypadkach, w których nadal się myli.
Najczęściej zadawane pytania
Tak. Weber-Wulff i współpracownicy stwierdzili w porównaniu z 2023 roku, że narzędzia do wykrywania AI są „ani dokładne, ani wiarygodne”, a osoby piszące po angielsku jako języku drugim są narażone na najwyższe udokumentowane ryzyko, przy czym jedno badanie wykazało średni wskaźnik fałszywych alarmów powyżej 60 procent w esejach TOEFL. Pojedynczy wynik sam w sobie nie jest dowodem czegokolwiek, dlatego nigdy nie powinien być jedynym dowodem stojącym za oskarżeniem.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.