آشکارسازهای AI چگونه کار می‌کنند؟ Perplexity، Burstiness و احتمال توکن

دانشگاه شما شروع کرده است که ارسال‌ها را از طریق یک آشکارساز هوش مصنوعی بررسی کند، و گزارشی با عددی که انتظارش را نداشتید بازگشته است. پیش از آنکه بخواهید آن را مورد اعتراض قرار دهید، دانستن این که آن عدد چه معنایی دارد مفید است. آشکارسازهای هوش مصنوعی چگونه کار می‌کنند؟ آن‌ها متن ماشینی را به شیوه‌ای که یک انسان می‌خواند، نمی‌خوانند. آن‌ها میزان پیش‌بینی‌پذیری متن شما را برای یک مدل زبانی اندازه‌گیری می‌کنند، سپس آن پیش‌بینی‌پذیری را به یک نمره تبدیل می‌کنند. در هیچ بخشی از آن فرایند، به این که منظور شما چیست، استدلال شما چیست، یا این که آیا واقعاً خودتان آن را نوشته‌اید یا نه، نگاه نمی‌شود.

من سال‌ها صرف ساختن ابزارهایی کرده‌ام که متن را از نظر آماری تجزیه می‌کنند، و مفیدترین نکته برای فهم تشخیص این است: این یک سنجش از معمولی بودن است، نه از منشأ. وقتی این نکته جا بیفتد، هم فناوری و هم شکست‌های آن بسیار معنادارتر می‌شوند.

آنچه یک آشکارساز در واقع اندازه‌گیری می‌کند

یک آشکارساز نمی‌داند چه کسی چیزی را نوشته است. آنچه در اختیار دارد یک مدل زبانی و یک تابع امتیازدهی است. مدل متن شما را از چپ به راست می‌خواند، و در هر نقطه یک توزیع احتمالی درباره این که کدام واژه باید بعدی بیاید تولید می‌کند. اگر به آن واژه‌های "the results of the" را بدهید، "study" را در بالاترین رتبه قرار می‌دهد، "experiment" را کمی پایین‌تر، و "marmalade" را جایی نزدیک به صفر.

پس آشکارساز یک پرسش از سند شما می‌پرسد: این متن چند بار واژه‌ای را انتخاب کرده است که مدل انتظارش را داشت؟ نوشتاری که پیوسته روی واژه‌های با احتمال بالا فرود می‌آید، ماشینی به نظر می‌رسد، زیرا دقیقاً همین کاری است که یک مولد متن انجام می‌دهد. مدل بارها و بارها، برای هزاران توکن، از بالای توزیع خودش نمونه‌گیری می‌کند.

به همین دلیل است که این دسته‌بندی، بسیار بیش از آنچه بازاریابی القا می‌کند، بر پایه‌ای سست قرار دارد. یک آشکارساز در حال یافتن یک واترمارک یا اثر انگشت نیست. آن فقط متوجه می‌شود که نثر شما از نظر آماری غیرغافلگیرکننده است، و نثر غیرغافلگیرکننده علل بسیاری جز یک چت‌بات دارد.

Perplexity: میزان شگفت‌زدگی مدل

شاخص اصلی perplexity نام دارد، و از آنچه به نظر می‌رسد ساده‌تر است. احتمال‌هایی را که مدل به هر واژه‌ای که واقعاً ظاهر شده اختصاص داده است بگیرید، لگاریتم آن احتمال‌ها را میانگین کنید، و حاصل را به توان برسانید. آنچه به دست می‌آید یک عدد واحد است که نشان می‌دهد مدل تا چه اندازه از سند شما شگفت‌زده شده است. شما می‌توانید perplexity پیش‌نویس خود را بررسی کنید، به جای آنکه آن را حدس بزنید.

perplexity پایین یعنی متن همان‌جایی رفته است که مدل انتظار داشت. perplexity بالا یعنی متن پیوسته به سمت‌هایی رفته است که مدل انتظار نداشت. نوشتار انسانی معمولاً بالاتر قرار می‌گیرد، زیرا افراد به سراغ اسم خاص و نامتعارف، ساختار غیرمعمول، و جمله‌ای می‌روند که از جایی غیرمنتظره آغاز می‌شود. متن تولیدشده معمولاً پایین‌تر قرار می‌گیرد، زیرا فرایند decoding طوری ساخته شده است که دقیقاً از همین حرکت‌ها پرهیز کند.

دو شیوه برای آغاز یک بخش روش‌ها را مقایسه کنید. "The results of the study were statistically significant" دنباله‌ای است که تقریباً هر مدلی آن را با اطمینان بالا پیش‌بینی می‌کند، زیرا هیچ اطلاعات غیرمنتظره‌ای حمل نمی‌کند. "Two of the three cohorts drifted before week six, which we had not planned for" بسیار کم‌پیش‌بینی‌تر است، زیرا اطلاعاتی مشخص و نامأنوس حمل می‌کند که از بقیه مقاله قابل حدس نبود. دومی برای آشکارساز شگفتی واقعی هزینه دارد، و همین شگفتی است که به عنوان انسانی ثبت می‌شود.

Burstiness: واریانس، نه میانگین

perplexity به تنهایی کافی نیست، زیرا یک سند می‌تواند در میانگین به عددی کاملاً معقول برسد، در حالی که در زیرِ سطح به شکلی مشکوک یکنواخت باشد. آنچه اهمیت دارد تغییرپذیری در سراسر متن شماست، و burstiness همین را می‌سنجد: این که طول جمله و perplexity در سطح جمله هنگام پیش رفتن نوشتار تا چه اندازه نوسان می‌کنند. یک burstiness checker این پراکندگی را به طور مستقیم نشان می‌دهد.

وقتی مطمئن هستیم تندتر می‌نویسیم و وقتی احتیاط می‌کنیم آهسته‌تر می‌شویم، و آن ریتم به نثر منتقل می‌شود. انسان‌ها به صورت burst می‌نویسند. یک بند ممکن است با یک جمله خبری کوتاهِ هشت‌واژه‌ای آغاز شود، به یک جمله سی‌وچهارواژه‌ای برسد که سه بند و یک عبارت معترضه را در بر دارد، و سپس دوباره به چیزی چابک‌تر برگردد.

خروجی مدل این کار را به‌طور قابل‌اعتماد انجام نمی‌دهد. جمله‌ها نزدیک به میانگین طول خوشه‌بندی می‌شوند. بندها در بسته‌های منظم می‌آیند. هر بخش با بازگویی عنوان خودش آغاز می‌شود. متن روان خوانده می‌شود و امتیاز بدی می‌گیرد، زیرا واریانس پایین میان جمله‌ها یکی از نیرومندترین نشانه‌هایی است که یک آشکارساز در اختیار دارد. آنچه آن را لو می‌دهد یک جملهٔ منفرد نیست. یکنواختی است.

نشانه	آنچه می‌سنجد	چرا متن ماشینی امتیاز پایینی می‌گیرد
Perplexity	اینکه مدل تا چه اندازه از انتخاب واژه‌های شما شگفت‌زده می‌شود، به‌طور میانگین در سراسر سند	نمونه‌برداری از توکن‌های با احتمال بالا را از پیش در فرایند رمزگشایی انجام می‌دهد
Burstiness	اینکه طول جمله و پیش‌بینی‌پذیری تا چه اندازه در سراسر متن تغییر می‌کنند	خروجی به‌جای نوسان کردن، نزدیک میانگین خوشه‌بندی می‌شود
Token probability	احتمال هر واژه که دو مورد دیگر از آن محاسبه می‌شوند	دنباله‌های طولانی از انتخاب‌های جداگانه و نامتمایز

احتمال توکن و اینکه امتیاز از کجا می‌آید

هر دو عدد بر پایهٔ سومی ساخته می‌شوند: log-likelihood هر توکن، یعنی مادهٔ خامی که همه‌چیز از آن محاسبه می‌شود. برخی ابزارها آن را مستقیماً به شما نشان می‌دهند و بخش‌هایی را برجسته می‌کنند که متن شما در آن‌ها بیشترین پیش‌بینی‌پذیری را داشته است. این برجسته‌سازی‌ها، هر معنایی که رابط کاربری القا کند، اتهام دربارهٔ جمله‌های مشخص نیستند. آن‌ها بخش‌هایی هستند که بیشترین سهم را در یک عدد در سطح سند داشته‌اند.

رویکردهای پژوهشی از آستانه‌های ساده فراتر رفته‌اند. DetectGPT و نسل‌های پس از آن به انحنا نگاه می‌کنند: آن‌ها متن شما را اندکی دگرگون می‌کنند و بررسی می‌کنند که آیا likelihood در الگویی افت می‌کند که متن تولیدشده معمولاً نشان می‌دهد یا نه. برخی دیگر همان passage را زیر دو مدل متفاوت مقایسه می‌کنند و از اختلاف به‌عنوان نشانه استفاده می‌کنند.

یک پیامد برای هر کسی که ارزیابی می‌شود اهمیت دارد. چون این سنجه‌ها نسبت به یک مدل مرجع مشخص محاسبه می‌شوند، هر امتیاز همیشه نسبیِ همان مدل است. دو آشکارساز می‌توانند یک بند یکسان را بخوانند و کاملاً با هم اختلاف داشته باشند، و هیچ‌کدام دچار اختلال نیستند. آن‌ها به یک پرسش واحد با نقاط مرجع متفاوت پاسخ می‌دهند.

پیامد دوم کمتر مورد توجه قرار می‌گیرد. یک مدل فقط زمانی می‌تواند یک passage را قابل پیش‌بینی تشخیص دهد که آن passage شبیه چیزی باشد که بر آن آموزش دیده است، بنابراین با افزایش فاصله میان مدل مرجع و هر چیزی که متن را تولید کرده است، کیفیت تشخیص کاهش می‌یابد. تولیدکننده‌های جدیدتر، رشته‌های غیرمعمول و زبان‌هایی غیر از انگلیسی همگی این فاصله را بیشتر می‌کنند. این بخشی از دلیل آن است که دقتی که در یک benchmark کنترل‌شده اندازه‌گیری می‌شود، به ندرت در برخورد با یک انبوه واقعی از submissions دوام می‌آورد.

آنچه detectorهای تجاری در کنار آن اضافه می‌کنند

ابزارهایی که مؤسسات واقعاً می‌خرند، perplexity کتابی را اجرا نمی‌کنند. Turnitin، GPTZero، Originality.ai و دیگران، classifierهای نظارت‌شده را بر مجموعه‌های بزرگ برچسب‌خورده از متن انسانی و ماشینی آموزش می‌دهند و از ویژگی‌های آماری در کنار ویژگی‌های سبکی استفاده می‌کنند. آنچه classifier می‌آموزد، هر چیزی است که آن دو انبوه را در داده‌های آموزشی‌اش از هم جدا می‌کند، و این چیزی محدودتر و تاریخی‌تر از "AI writing" به طور کلی است.

وابستگی به آموزش، مسئله پنهان است. یک classifier که عمدتاً بر یک نسل از خروجی مدل آموزش دیده است، باید به مدل‌های جدیدتر، به رشته‌های ناآشنا، و به نویسندگانی تعمیم یابد که انگلیسی‌شان شبیه توزیع آموزشی آن نیست. فروشندگان ارقام دقت را از ارزیابی‌های خود منتشر می‌کنند، و benchmarkهای مستقل به طور معمول در همان ابزارها بسیار پایین‌تر از آن ارقام قرار می‌گیرند.

خواندن یک امتیاز بدون بیش‌خوانی آن

گزارش یک detector معمولاً به صورت یک درصد می‌رسد، و این درصد به طور مکرر به اشتباه خوانده می‌شود. این درصد، نسبت سند شما که توسط یک ماشین نوشته شده است نیست. بسته به ابزار، این درصد یا میزان اطمینان classifier است، یا سهم جمله‌هایی است که از یک آستانه داخلی عبور کرده‌اند، و فروشندگان اغلب درباره این که کدام یک است مبهم می‌مانند. دو گزارشی که هر دو شصت درصد را نشان می‌دهند، می‌توانند معنای بسیار متفاوتی داشته باشند.

همچنین دانستن این نکته ارزشمند است که چه چیزهایی یک امتیاز را به دلایلی که هیچ ربطی به نویسنده ندارند تغییر می‌دهند. اسناد کوتاه نویز بیشتری دارند، زیرا متن کمتری برای تثبیت میانگین‌ها وجود دارد، و یک مقاله 500 کلمه‌ای می‌تواند بر اثر دو یا سه جمله غیرمعمول به‌طور چشمگیری نوسان کند. متن نقل‌قول‌شده نیز حساب می‌شود، مگر آنکه ابزار آن را حذف کند، بنابراین یک مرور ادبیات که پر از نقل‌قول‌های بلوکی است، پیش‌بینی‌پذیری هر چیزی را که نقل می‌کند به ارث می‌برد. یک بخش فنی که مملو از اصطلاحات استاندارد است نیز به همین شکل رفتار می‌کند.

اگر در طرف دریافت یک پرچم قرار گرفته‌اید، پاسخ مفید شواهد است، نه بحثی درباره شاخص. تاریخچه نسخه‌ها، پیش‌نویس‌ها، یادداشت‌ها و سوابق جست‌وجو همگی درباره فرایند سخن می‌گویند، و فرایند همان چیزی است که یک هیئت رسیدگی به تخلف واقعاً می‌تواند ارزیابی کند. هیچ آستانه‌ای وجود ندارد که کسی بتواند به آن اشاره کند و میان یک نویسنده دقیق و یک مدل تمایز بگذارد.

چرا آشکارسازها نوشته‌ای را پرچم‌گذاری می‌کنند که هیچ مدلی تولید نکرده است

مثبت‌های کاذب یک نقص نادر نیستند. آن‌ها مستقیماً از سنجش تیپیک بودن ناشی می‌شوند. هر نوشته‌ای که واقعاً قابل پیش‌بینی باشد، به‌عنوان قابل پیش‌بینی امتیاز می‌گیرد، صرف‌نظر از اینکه چه کسی آن را تولید کرده است.

نویسندگان غیربومی انگلیسی بیشترین تأثیر را می‌پذیرند. پژوهشگران Stanford دریافتند که آشکارسازها بخش بزرگی از مقاله‌های نویسندگان غیربومی را به‌اشتباه به‌عنوان تولیدشده توسط ماشین طبقه‌بندی کردند، در حالی که مقاله‌های نویسندگان بومی را درست طبقه‌بندی کردند. دلیل آن مکانیکی است نه بدخواهانه: نویسندگانی که در یک زبان دوم کار می‌کنند، معمولاً به ساختارهای جاافتاده و واژگان رایج‌تر تکیه می‌کنند. این دقیقاً همان نمایه کم‌درهم‌ریختگی است، و به همین دلیل ESL writers get flagged for writing carefully.

هنجارهای دانشگاهی همین مشکل را ایجاد می‌کنند. یک بخش روش‌ها قرار است قالبی باشد. نگارش حقوقی، مستندسازی فنی و گزارش‌نویسی بالینی همگی عبارت‌بندی استاندارد را بر عبارت‌بندی خلاقانه ترجیح می‌دهند. ویرایش سنگین این مشکل را بیشتر می‌کند، زیرا صیقل دادن یک پیش‌نویس معمولاً به معنای حذف بی‌قاعدگی‌هایی است که امضای آماری شما را حمل می‌کردند.

مؤسسات متوجه شده‌اند. Vanderbilt قابلیت تشخیص هوش مصنوعی Turnitin را غیرفعال کرد، به جای آنکه بر اساس امتیازهایی عمل کند که نمی‌توانست آن‌ها را راستی‌آزمایی کند، و دانشگاه‌های دیگر نیز نحوه استفاده از این اعداد را در رسیدگی‌های تخلف محدود کرده‌اند. امتیاز یک آشکارساز را تنها یک قرینه ضعیف در نظر بگیرید، نه یک حکم.

این برای نوشتار خود شما چه معنایی دارد

توصیه‌های عملی که از سازوکارها برمی‌آید، غیرعادی نیست و هیچ‌یک از آن‌ها به دستکاری چیزی مربوط نمی‌شود. طول جمله‌های خود را آگاهانه تغییر دهید، زیرا یکنواختی همان چیزی است که ثبت می‌شود. جزئیات مشخص را حفظ کنید, عدد واقعی، محدودیت واقعی، چیزی که در هفته 6 خراب شد. شایستگی کلی و مبهم همان چیزی است که به صورت ساخته‌شده توسط ماشین امتیاز می‌گیرد، و مشخص‌بودن هم نوشتار بهتری است و هم نشانه‌ای قوی‌تر.

اصطلاح‌پردازی خودتان را هم حفظ کنید. اگر شیوه‌ای برای بیان چیزها دارید، همان را نگه دارید. آن تمایل که پیش‌نویس را آن‌قدر صیقل دهید تا شبیه هر مقاله دیگری در این حوزه به نظر برسد، همان تمایلی است که perplexity شما را پایین می‌آورد.

یک چیز را باید از آن پرهیز کرد: برخی ابزارها عمداً خطاهای دستوری وارد می‌کنند تا perplexity را بالا ببرند. این کار روی این سنجه اثر می‌گذارد و برای هر متن نمره‌دار یا داوری‌شده توسط همتا، ایده بسیار بدی است، زیرا شما یک ظن را با یک قطعیت عوض می‌کنید. هدف، نوشتاری است که به عنوان نوشته شما خوانده شود، نه نوشتاری که عمداً آسیب دیده باشد. همین است تمام تفاوت میان بازنویسی برای یک خواننده انسانی و شکستن متن برای فریب دادن یک امتیازدهنده.

اگر می‌خواهید این اعداد را برای پیش‌نویس خودتان ببینید، نه اینکه صرفاً گفته یک جعبه سیاه را بپذیرید، سنجه‌های زیربنایی محرمانه نیستند. ابزارهای رایگان تحلیل متن نشان می‌دهند نثر شما در چه وضعی قرار دارد، و خودتان می‌توانید تصمیم بگیرید که آیا بخش‌های یکنواخت یک مسئله سبکی هستند که ارزش اصلاح دارند یا نه.