Dlaczego tekst AI jest wykrywany? Prawdziwe przyczyny

Jeśli poprosisz model językowy o dokończenie zdania „The weather today is,” nie będzie próbował wybrać koloru, takiego jak „cerulean” albo „apocalyptic.” Zamiast tego spróbuje powiedzieć „sunny,” „cloudy,” albo „nice,” ponieważ to były słowa, które najczęściej następowały po tym wyrażeniu w danych, na których został wytrenowany. Oprogramowanie, które wybiera następne słowo w zdaniu, zostało zaprojektowane tak, aby faworyzować właśnie tego rodzaju odpowiedź.

Dlaczego tekst AI jest wykrywany? Ponieważ to samo uprzywilejowanie, które wybiera „sunny” zamiast „cerulean”, przenika cały dokument, słowo po słowie, a wynik mieści się w węższym paśmie możliwych form pisania niż to, które faktycznie zajmuje człowiek. Detektor nie musi wykrywać kłamstwa. Wystarczy, że zauważy, iż dany fragment stale trafia w to wąskie pasmo.

Żadna z poniższych treści nie wymaga wzoru. Mechanizm opiera się na jednej idei, powtórzonej w trzech różnych skalach, wyborze słów, budowie zdań i konkretnym szczególe, po który autor sięga bez zastanowienia. Każda z tych skal prowadzi do szerszego pytania o jak właściwie działają detektory AI, a każdą z nich łatwiej dostrzec, gdy nazwie się przyczynę źródłową.

Dlaczego tekst AI jest wykrywany? Krótka odpowiedź

Tekst AI jest wykrywany, ponieważ proces dekodowania, który przekształca przewidywania modelu w gotowe zdania, został zbudowany tak, aby na każdym kroku faworyzować najbardziej prawdopodobne słowa, a konsekwentne stosowanie tego podejścia, przez tysiące słów z rzędu, wytwarza pisanie zajmujące węższy wycinek języka niż zwykle zajmuje człowiek. Narzędzie statystyczne może wykryć tę wąskość, nawet gdy każde zdanie jest poprawne gramatycznie i zgodne z faktami.

Z tej jednej przyczyny wynikają trzy symptomy. Słownictwo zawęża się do najbezpieczniejszego, powszechnego słowa. Struktura zdań zawęża się do kilku preferowanych schematów. A konkretny, nieco mało prawdopodobny wybór, którego człowiek dokonuje niemal odruchowo, dziwne słowo, dygresja, szczegół, którego dodanie nic nie kosztuje, a którego przewidzenie kosztuje wszystko, zwykle w ogóle się nie pojawia.

Jak model językowy wybiera następne słowo

Gdyby pozostawić go samemu sobie, model językowy po prostu zwróciłby pełną, uporządkowaną listę możliwych kolejnych słów i pozwoliłby, by coś innego dokonało wyboru. W praktyce strategia dekodowania dokonuje tego wyboru automatycznie, słowo po słowie, a to, która strategia jest uruchomiona, zmienia wygląd wyniku nawet wtedy, gdy sam model pozostaje bez zmian.

Dekodowanie zachłanne zawsze wybiera pojedyncze słowo o najwyższym prawdopodobieństwie. W artykule, który wprowadził próbkowanie jądrowe jako rozwiązanie, Ari Holtzman i współautorzy zauważyli, że stosowanie tej strategii prowadzi do tekstu, który, jak sami napisali, jest „mdły i dziwnie powtarzalny”. Przeszukiwanie wiązkowe, które śledzi kilka prawdopodobnych kontynuacji jednocześnie, zanim zatrzyma się na jednej, napotyka podobną odmianę tego samego problemu.

Strategie próbkowania przywracają pewną losowość, ale w sposób kontrolowany. Temperatura dostosowuje, jak silnie model faworyzuje własne najlepsze wybory, zanim zostanie wylosowane słowo. Próbkowanie jądrowe, czasem nazywane top-p, obcina rozkład do najmniejszego zbioru słów, których łączne prawdopodobieństwo przekracza próg, i losuje wyłącznie z tego zbioru, opisanego w oryginalnym artykule jako próbkowanie z dynamicznego jądra rozkładu, a nie z jego zawodnego ogona.

Nawet najmniej deterministyczne z tych ustawień nadal losuje z krótkiej listy zbudowanej wokół tego, co model już uznaje za prawdopodobne. Pismo ludzkie nigdy nie powstawało przez rangowanie słownictwa i losowanie z jego czoła, więc nieustannie wykracza poza tę krótką listę. Znaczenie czasem tkwi w słowie, którego nigdy nie było na liście.

Spłaszczenie słownictwa: mniej słów, bezpieczniejsze słowa

Spłaszczenie słownictwa jest wersją tego samego nawyku na poziomie słów. W każdym punkcie zdania dziesiątki słów mogłyby je wiarygodnie kontynuować, ale kilka z nich znajduje się znacznie wyżej niż reszta w rankingu modelu, a dekodowanie wciąż trafia właśnie na tę kilka. Pomnóż ten wybór przez każde zdanie w dokumencie, a zakres rzeczywiście użytych słów zauważalnie się zawęża w porównaniu z tekstem ludzkim o podobnej długości.

Efekt ten narasta, zamiast pozostawać stały. Model, który w pierwszym zdaniu sięga po słowo najwyżej sklasyfikowane, z większym prawdopodobieństwem tworzy kontekst, w którym słowo najwyżej sklasyfikowane w drugim zdaniu także jest częste, ponieważ częste słowa mają tendencję do następować po częstych słowach. Autor ludzki nieustannie przerywa to odchylenie, sięgając po konkretny termin techniczny, nieco nietypowy czasownik, słowo, które nazywa rzeczywisty obiekt, a nie jego bezpieczne przybliżenie. Ta różnica ujawnia się jako mierzalnie mniejszy zasób roboczego słownictwa w wersji wygenerowanej, nawet wtedy, gdy obie wersje opisują te same podstawowe fakty.

Jest to właściwość całego fragmentu, a nie pojedynczego wyboru słowa. Jedno bezpieczne słowo niczego nie dowodzi. Strona pełna takich słów, zdanie po zdaniu sięgających po ten sam poziom częstego słownictwa, jest właśnie tym, co sygnał na poziomie słów, wykorzystywany przez detektor, ma rzeczywiście wykrywać.

Jednorodność składniowa: te same struktury, powtarzane

Jednorodność składniowa jest odpowiednikiem na poziomie zdania. Nie chodzi w niej o długość zdania. Chodzi o to, ile odrębnych struktur gramatycznych wykorzystuje dany fragment: jak zdania się rozpoczynają, jak klauzule łączą się ze sobą, jak często słowo przejściowe wykonuje pracę polegającą na łączeniu jednej myśli z następną. Model, który nadal przewiduje statystycznie prawdopodobną następną strukturę, osiada w niewielkim obrocie struktur i powtarza go.

Akapit może różnicować długość zdań, a mimo to nadal czytać się jako składniowo płaski, jeśli każde zdanie podąża za tą samą strukturą podmiot, orzeczenie, dopełnienie, rozpoczyna się tym samym rodzajem przejścia albo rozwiązuje się w ten sam sposób. Przewidywalność tkwi we wzorcu, a nie w liczbie słów, co szerzej omawia przewodnik po co burstiness rzeczywiście mierzy.

Co zawęża	Co zwykle robi tekst zoptymalizowany pod dekodowanie	Co zwykle robi pisanie ludzkie
Dobór słów	W każdym kroku wybiera najbardziej prawdopodobne, powszechne słowo	Sięga po konkretne lub rzadsze słowo, które nazywa rzeczywistą rzecz
Początek zdania	Powtarza niewielki zestaw bezpiecznych, przejściowych otwarć	Różnicuje sposób rozpoczynania zdania, w tym otwarcia, które model uznałby za mniej prawdopodobne
Struktura zdania podrzędnego	Powtarza jedną lub dwie preferowane formy gramatyczne w całym fragmencie	Miesza struktury proste i złożone zależnie od tego, czego wymaga zdanie

Wybory, których zwykle dokonuje tylko człowiek

Drugą stroną wąskiego zakresu jest to, co wypada poza nim. Osoba opisująca rzeczywiste wydarzenia sięga po dokładną liczbę zamiast zaokrąglonej, przyznaje, która część nie zadziałała, przerywa zdanie, aby poprawić je w trakcie myślenia, albo wybiera słowo, które jest trafne, a nie typowe. Każdy z tych wyborów jest, z punktu widzenia modelu językowego, tokenem o niskim prawdopodobieństwie, dokładnie takim, którego dekodowanie ma unikać.

Nic z tego nie oznacza, że konkretne lub nietypowe pisanie jest bezpieczne wobec każdego oznaczenia, ani że płynne, poprawne pisanie jest z definicji podejrzane. Sekcja metod, klauzula prawna albo mocno zredagowany ostateczny szkic mogą znaleźć się w wąskim zakresie z powodów, które nie mają nic wspólnego z modelem, dlatego pojedynczy wynik jest opisem wzorca, a nie werdyktem dotyczącym tego, kto to napisał.

Ustalenie, gdzie własny szkic znajduje się w tym zakresie, jest bardziej użyteczne niż zgadywanie. Darmowy checker perplexity i checker burstiness TextPulse mierzą osobno przewidywalność na poziomie słów oraz rytm między zdaniami, więc płaskie słownictwo i powtarzalna struktura zdań pojawiają się jako dwa różne sygnały, a nie jedna połączona liczba.

Dwa węższe zagadnienia wynikają z tego. Jak Turnitin wykrywa AI w sposób szczegółowy jest jednym z nich, a różnica między jego wynikiem podobieństwa a wynikiem AI jest drugim, ponieważ te dwa są rutynowo mylone ze sobą.

Oba mieszczą się w szerszej kolekcji darmowych narzędzi, dla każdego, kto chce samodzielnie zobaczyć ten wzorzec, zamiast ślepo ufać pojedynczej liczbie.