چرا متن AI شناسایی می‌شود؟ دلایل واقعی

اگر از یک مدل زبانی بخواهید جمله "The weather today is," را کامل کند، تلاش نمی‌کند رنگی مانند "cerulean" یا "apocalyptic" را انتخاب کند. در عوض، می‌کوشد "sunny," "cloudy," یا "nice," را بگوید، زیرا این‌ها واژه‌هایی بودند که پس از آن عبارت، در هر متنی که بر پایه آن آموزش دیده بود، بیشترین بسامد را داشتند. نرم‌افزاری که واژه بعدی را در یک جمله انتخاب می‌کند، طوری طراحی شده است که همین نوع پاسخ را ترجیح دهد.

چرا متن AI شناسایی می‌شود؟ زیرا همان ترجیحی که "sunny" را بر "cerulean" برمی‌گزیند، در سراسر یک سند، واژه به واژه، جریان دارد و نتیجه را در نوار باریک‌تری از نوشتارهای ممکن قرار می‌دهد تا آنچه یک انسان واقعاً در آن جای می‌گیرد. یک آشکارساز لازم نیست دروغی را کشف کند. فقط کافی است متوجه شود که یک بخش متن پیوسته در همان نوار باریک فرود می‌آید.

آنچه در ادامه می‌آید به هیچ فرمولی نیاز ندارد. سازوکارها در یک ایده نهفته‌اند که در سه مقیاس متفاوت تکرار می‌شود, انتخاب واژه، شکل جمله، و جزئی مشخصی که نویسنده بی‌آنکه به آن فکر کند به سویش می‌رود. هر یک از این مقیاس‌ها به پرسش گسترده‌ترِ how AI detectors actually work پیوند می‌خورند، و هر یک را پس از نام‌گذاری علت ریشه‌ای، آسان‌تر می‌توان دید.

چرا متن AI شناسایی می‌شود؟ پاسخ کوتاه

متن AI شناسایی می‌شود، زیرا فرایند رمزگشایی که پیش‌بینی‌های یک مدل را به جمله‌های کامل تبدیل می‌کند، به گونه‌ای ساخته شده است که در هر گام، واژه‌های محتمل را ترجیح دهد، و انجام پیوسته این کار، برای هزاران واژه پشت سر هم، نوشتاری تولید می‌کند که بخش باریک‌تری از زبان را نسبت به آنچه یک انسان معمولاً به کار می‌برد، اشغال می‌کند. یک ابزار آماری می‌تواند این باریکی را حتی زمانی که هر جمله از نظر دستوری بی‌نقص و از نظر factual دقیق است، تشخیص دهد.

از این یک علت، سه نشانه پدید می‌آید. واژگان به سوی امن‌ترین واژه رایج محدود می‌شوند. ساختار جمله به سوی چند شکل ترجیحی محدود می‌شود. و آن انتخاب مشخص و اندکی نامحتملی که یک انسان تقریباً از روی عادت انجام می‌دهد، واژه نامعمول، جمله معترضه، جزئیاتی که افزودنشان هزینه‌ای ندارد و پیش‌بینی‌شان همه چیز را دشوار می‌کند، معمولاً اصلاً ظاهر نمی‌شود.

یک مدل زبانی چگونه واژه بعدی خود را انتخاب می‌کند

اگر به حال خود رها شود، یک مدل زبان صرفاً فهرست کامل رتبه‌بندی‌شده‌ای از واژه‌های بعدیِ ممکن را گزارش می‌کند و می‌گذارد چیز دیگری انتخاب کند. در عمل، یک راهبرد رمزگشایی این انتخاب را به‌طور خودکار، واژه به واژه، انجام می‌دهد، و این‌که کدام راهبرد در حال اجراست، حتی وقتی خود مدل زیربنایی هرگز تغییر نمی‌کند، ظاهر خروجی را تغییر می‌دهد.

رمزگشایی حریصانه همیشه تنها محتمل‌ترین واژه را برمی‌گزیند. در مقاله‌ای که nucleus sampling را به‌عنوان یک راه‌حل معرفی کرد، Ari Holtzman و همکارانش مشاهده کردند که پیروی از این راهبرد به متنی می‌انجامد که به گفته خودشان، «کسل‌کننده و به‌طرزی عجیب تکراری» است. beam search، که چند ادامه محتمل را هم‌زمان دنبال می‌کند پیش از آن‌که بر یکی از آن‌ها متوقف شود، با نسخه‌ای مشابه از همین مسئله روبه‌رو می‌شود.

راهبردهای نمونه‌گیری مقداری تصادفی‌بودن را دوباره وارد می‌کنند، اما به شکلی کنترل‌شده. دما تعیین می‌کند که مدل پیش از آن‌که یک واژه انتخاب شود، تا چه اندازه به گزینه‌های برتر خود با شدت گرایش نشان دهد. nucleus sampling، که گاهی top-p نامیده می‌شود، توزیع را به کوچک‌ترین مجموعه واژه‌هایی محدود می‌کند که احتمال ترکیبی آن‌ها از یک آستانه عبور می‌کند و فقط از همان مجموعه نمونه می‌گیرد، و در مقاله اصلی به‌عنوان نمونه‌گیری از یک هسته پویا از توزیع، به‌جای دنباله نامطمئن آن، توصیف شده است.

حتی کم‌قطعی‌ترینِ این تنظیم‌ها نیز همچنان از فهرست کوتاهی نمونه می‌گیرد که بر پایه آن چیزی ساخته شده است که مدل از پیش آن را محتمل می‌داند. نوشتار انسانی هرگز با رتبه‌بندی یک واژگان و نمونه‌گیری از بالای آن تولید نشده است، بنابراین پیوسته از آن فهرست کوتاه فراتر می‌رود. معنا گاهی در واژه‌ای زندگی می‌کند که هرگز در فهرست نبوده است.

تختی واژگان: واژه‌های کمتر و ایمن‌تر

تختی واژگان نسخه سطح واژه‌ایِ همین عادت است. در هر نقطه از یک جمله، ده‌ها واژه می‌توانند به‌طور معقول آن را ادامه دهند، اما چند واژه در رتبه‌بندی مدل بسیار بالاتر از بقیه قرار می‌گیرند، و رمزگشایی پیوسته روی همان چند واژه فرود می‌آید. اگر این انتخاب را در هر جمله یک سند ضرب کنیم، دامنه واژه‌هایی که واقعاً به کار می‌روند، در مقایسه با نوشتاری انسانی با طول مشابه، به‌طور قابل اندازه‌گیری محدودتر می‌شود.

این اثر به‌صورت تجمعی تشدید می‌شود، نه این‌که ثابت بماند. مدلی که در جمله 1 به سراغ واژه با بالاترین رتبه می‌رود، بیشتر احتمال دارد زمینه‌ای بسازد که در آن واژه با بالاترین رتبه در جمله 2 نیز رایج باشد، زیرا واژه‌های رایج معمولاً پس از واژه‌های رایج می‌آیند. نویسنده انسانی این انحراف را پیوسته قطع می‌کند و به سراغ اصطلاح فنی دقیق، فعل اندکی نامتعارف، یا واژه‌ای می‌رود که خودِ چیز واقعی را نام می‌برد، نه تقریب امنی از آن را. این تفاوت به صورت واژگان کاریِ به‌طور قابل اندازه‌گیری کوچک‌تر در نسخه تولیدشده ظاهر می‌شود، حتی وقتی هر دو نسخه همان واقعیت‌های زیربنایی را توصیف می‌کنند.

این ویژگیِ کلِ متن است، نه حاصلِ هیچ انتخاب واژگانیِ منفردی. یک واژه امن هیچ چیزی را ثابت نمی‌کند. صفحه‌ای پر از آن‌ها، جمله پس از جمله که به همان رتبه از واژگان رایج دست می‌برد، همان چیزی است که سیگنالِ واژه‌محورِ یک آشکارساز در واقع برای تشخیص آن ساخته شده است.

یکنواختی نحوی: همان الگوها، تکرارشده

یکنواختی نحوی، نسخه‌ای در سطح جمله است. موضوع آن این نیست که یک جمله چه‌قدر طول می‌کشد. موضوع آن این است که یک متن از چند شکل دستوریِ متمایز استفاده می‌کند: جمله‌ها چگونه آغاز می‌شوند، بندها چگونه به یکدیگر می‌پیوندند، و یک واژه گذار چند بار کارِ پیوند دادن یک ایده به ایده بعدی را انجام می‌دهد. مدلی که همچنان محتمل‌ترین ساختار بعدی از نظر آماری را پیش‌بینی می‌کند، در مجموعه کوچکی از الگوها تثبیت می‌شود و آن را تکرار می‌کند.

یک بند می‌تواند طول جمله‌های خود را متنوع کند و با این حال اگر هر جمله از همان الگوی نهاد, فعل, متمم پیروی کند، با همان نوع واژه گذار آغاز شود، یا به همان شیوه جمع‌بندی شود، همچنان از نظر نحوی تخت به نظر برسد. پیش‌بینی‌پذیری در الگو نهفته است، نه در شمار واژه‌ها، و این تمایز در راهنمای این‌که burstiness در واقع چه چیزی را می‌سنجد با جزئیات بیشتری بررسی شده است.

چه چیزی دامنه را محدود می‌کند	متنی که برای decoding بهینه شده است، معمولاً چه می‌کند	نوشتار انسانی معمولاً چه می‌کند
انتخاب واژه	در هر گام بر رایج‌ترین واژه محتمل تکیه می‌کند	به سراغ واژه دقیق یا کم‌کاربردتری می‌رود که خودِ چیز واقعی را نام می‌برد
آغاز جمله	مجموعه کوچکی از آغازهای انتقالیِ امن را به‌طور تکراری به کار می‌برد	نحوه آغاز جمله را تغییر می‌دهد، از جمله آغازهایی که یک مدل آن‌ها را کم‌احتمال‌تر رتبه‌بندی می‌کند
ساختار بند	یک یا دو الگوی دستوریِ ترجیحی را در سراسر یک متن تکرار می‌کند	بسته به آنچه یک جمله نیاز دارد، ساختارهای ساده و پیچیده را با هم می‌آمیزد

انتخاب‌هایی که فقط یک انسان معمولاً انجام می‌دهد

روی دیگرِ یک بازه محدود، چیزهایی است که بیرون از آن قرار می‌گیرند. فردی که رویدادهای واقعی را توصیف می‌کند، به‌جای عدد گرد، رقم دقیق را برمی‌گزیند، بخشی را که درست پیش نرفته است می‌پذیرد، جمله‌ای را در میانه اندیشه قطع می‌کند تا آن را اصلاح کند، یا واژه‌ای را انتخاب می‌کند که درست است نه معمولی. هر یک از این انتخاب‌ها، از دید یک مدل زبانی، یک token کم‌احتمال است، دقیقاً همان چیزی که decoding برای پرهیز از آن ساخته شده است.

هیچ‌یک از این‌ها به این معنا نیست که نوشتار خاص یا غیرمعمول از هر نشانه‌ای مصون است، یا این‌که نوشتار روان و درست به‌طور پیش‌فرض مشکوک است. یک بخش روش‌ها، یک بند حقوقی، یا پیش‌نویس نهاییِ به‌شدت ویرایش‌شده می‌تواند به دلایلی که هیچ ربطی به یک مدل ندارند، در یک بازه محدود قرار بگیرد، و به همین دلیل است که یک امتیاز واحد، توصیف یک الگو است نه حکمی درباره این‌که چه کسی آن را تایپ کرده است.

دیدن این‌که پیش‌نویس خودتان در کجای آن بازه قرار می‌گیرد، از حدس زدن مفیدتر است. perplexity checker رایگان TextPulse و burstiness checker پیش‌بینی‌پذیری در سطح واژه و ریتم جمله به جمله را جداگانه اندازه‌گیری می‌کنند، بنابراین واژگان یکنواخت و شکل تکراری جمله به‌صورت دو نشانه متفاوت ظاهر می‌شوند، نه یک عدد آمیخته.

از این نتیجه، دو صفحه محدودتر به دست می‌آید. Turnitin چگونه AI را به طور مشخص تشخیص می‌دهد یکی از آن‌هاست، و تفاوت میان نمره شباهت آن و نمره AI آن دیگری است، زیرا این دو به طور معمول با یکدیگر اشتباه گرفته می‌شوند.

هر دو درون مجموعه گسترده‌تر ابزارهای رایگان قرار دارند، برای هر کسی که بخواهد الگو را خودش ببیند، نه این که صرفا به یک عدد به طور کورکورانه اعتماد کند.