آشکارسازهای AI چگونه کار می‌کنند؟ perplexity، burstiness و احتمال توکن

دانشگاه شما شروع کرده است که ارسال‌ها را از طریق یک آشکارساز هوش مصنوعی بررسی کند، و گزارشی با عددی که انتظارش را نداشتید بازگشته است. پیش از آنکه بخواهید آن را مورد اعتراض قرار دهید، دانستن این که آن عدد چه معنایی دارد مفید است. آشکارسازهای هوش مصنوعی چگونه کار می‌کنند؟ آن‌ها متن ماشینی را به شیوه‌ای که یک انسان می‌خواند، نمی‌خوانند. آن‌ها اندازه می‌گیرند که متن شما تا چه حد برای یک مدل زبانی قابل پیش‌بینی است، سپس آن پیش‌بینی‌پذیری را به یک امتیاز تبدیل می‌کنند. در هیچ بخشی از آن فرایند، به این که منظور شما چیست، استدلال شما چیست، یا این که آیا واقعاً خودتان آن را نوشته‌اید، نگاه نمی‌شود.

من سال‌ها صرف ساختن ابزارهایی کرده‌ام که متن را از نظر آماری تجزیه می‌کنند، و مفیدترین نکته‌ای که درباره تشخیص باید فهمید این است: این یک سنجش از معمول‌بودن است، نه از منشأ. وقتی این نکته روشن شود، هم فناوری و هم کاستی‌های آن بسیار معنادارتر می‌شوند.

یک آشکارساز در واقع چه چیزی را اندازه می‌گیرد

یک آشکارساز نمی‌داند چه کسی چیزی را نوشته است. آنچه در اختیار دارد یک مدل زبانی و یک تابع امتیازدهی است. مدل متن شما را از چپ به راست می‌خواند، و در هر نقطه یک توزیع احتمالاتی درباره این که کدام واژه باید بعدی بیاید تولید می‌کند. اگر به آن واژه‌های "the results of the" را بدهید، "study" را در بالاترین رتبه قرار می‌دهد، "experiment" را کمی پایین‌تر، و "marmalade" را جایی نزدیک به صفر.

پس آشکارساز یک پرسش از سند شما می‌پرسد: این متن چند بار واژه‌ای را برگزیده است که مدل انتظارش را داشت؟ نوشتاری که پیوسته به واژه‌های با احتمال بالا می‌رسد، ماشینی به نظر می‌رسد، زیرا دقیقاً همین کاری است که یک مولد متن انجام می‌دهد. مدل بارها و بارها، برای هزاران توکن، از بالای توزیع خودش نمونه‌گیری می‌کند.

به همین دلیل است که کل این دسته، نسبت به آنچه بازاریابی القا می‌کند، بر پایه‌ای لرزان‌تر قرار دارد. یک آشکارساز در حال یافتن یک واترمارک یا اثر انگشت نیست. آن فقط متوجه می‌شود که نثر شما از نظر آماری غیرمنتظره نیست، و نثر غیرمنتظره‌نبودن، به جز یک chatbot، علت‌های بسیاری دارد.

Perplexity: مدل تا چه حد شگفت‌زده می‌شود

معیار اصلی perplexity نام دارد، و از آنچه به نظر می‌رسد ساده‌تر است. احتمال‌هایی را که مدل به هر واژه‌ای که واقعاً ظاهر شده اختصاص داده است بگیرید، لگاریتم‌های آن احتمال‌ها را میانگین کنید، و حاصل را به توان برسانید. آنچه به دست می‌آید یک عدد واحد است که نشان می‌دهد مدل تا چه اندازه از سند شما شگفت‌زده شده است. می‌توانید perplexity پیش‌نویس خود را بررسی کنید، به جای آنکه آن را حدس بزنید.

perplexity پایین یعنی متن در جهتی پیش رفته است که مدل انتظار داشت. perplexity بالا یعنی مدام به پیچ‌هایی رسیده است که مدل انتظارشان را نداشت. نوشتار انسانی معمولاً در سطح بالاتری قرار می‌گیرد، زیرا افراد به سوی اسم خاص و نامعمول، ساختار غیرعادی، و جمله‌ای که از جایی غیرمنتظره آغاز می‌شود، می‌روند. متن تولیدشده معمولاً پایین‌تر قرار می‌گیرد، زیرا فرایند decoding طوری ساخته شده است که دقیقاً از همین حرکت‌ها پرهیز کند.

دو شیوه برای آغاز یک بخش روش‌ها را مقایسه کنید. "The results of the study were statistically significant" دنباله‌ای است که تقریباً هر مدلی آن را با اطمینان بالا پیش‌بینی می‌کند، زیرا هیچ اطلاعات غیرمنتظره‌ای حمل نمی‌کند. "Two of the three cohorts drifted before week six, which we had not planned for" بسیار کم‌پیش‌بینی‌تر است، زیرا اطلاعاتی مشخص و نامأنوس حمل می‌کند که از بقیه مقاله نمی‌شد حدس زد. دومی برای آشکارساز شگفتی واقعی هزینه دارد، و همین شگفتی است که به‌عنوان انسانی ثبت می‌شود.

Burstiness: واریانس، نه میانگین

perplexity به‌تنهایی کافی نیست، زیرا یک سند می‌تواند در میانگین به عددی کاملاً معقول برسد، در حالی که در زیرِ سطح به‌طرزی مشکوک یکنواخت باشد. آنچه اهمیت دارد تغییرپذیری در سراسر متن شماست، و burstiness همین را می‌سنجد: اینکه طول جمله و perplexity در سطح جمله، هم‌زمان با پیش رفتن نوشتار، تا چه اندازه نوسان می‌کنند. یک burstiness checker این پراکندگی را به‌طور مستقیم نشان می‌دهد.

وقتی مطمئن هستیم تندتر می‌نویسیم و وقتی در حال احتیاط کردن هستیم آهسته‌تر می‌شویم، و این ریتم به نثر هم منتقل می‌شود. انسان‌ها به‌صورت burst می‌نویسند. یک بند ممکن است با یک جمله خبری کوتاهِ هشت‌واژه‌ای آغاز شود، به یک جمله 34 واژه‌ای برسد که سه بند و یک عبارت معترضه را در خود دارد، و سپس دوباره به چیزی تند و کوتاه برگردد.

خروجی مدل این کار را به‌طور قابل‌اعتماد انجام نمی‌دهد. جمله‌ها نزدیک به طول میانگین خوشه‌بندی می‌شوند. پاراگراف‌ها در بسته‌های منظم می‌آیند. هر بخش با بازگویی عنوان خودش آغاز می‌شود. متن روان خوانده می‌شود و امتیاز بدی می‌گیرد، زیرا واریانس پایین میان جمله‌ها یکی از قوی‌ترین نشانه‌هایی است که یک آشکارساز در اختیار دارد. آنچه آن را لو می‌دهد یک جملهٔ منفرد نیست. یکنواختی است.

نشانه	آنچه می‌سنجد	چرا متن ماشینی امتیاز پایینی می‌گیرد
Perplexity	اینکه مدل تا چه اندازه از انتخاب واژه‌های شما شگفت‌زده می‌شود، به‌طور میانگین در سراسر سند	رمزگشایی، به‌صورت طراحی‌شده، از نشانه‌های با احتمال بالا نمونه‌گیری می‌کند
Burstiness	اینکه طول جمله و پیش‌بینی‌پذیری تا چه اندازه در سراسر متن تغییر می‌کنند	خروجی به‌جای نوسان کردن، نزدیک به میانگین خوشه‌بندی می‌شود
Token probability	احتمال واژه‌به‌واژه‌ای که دو مورد دیگر از آن محاسبه می‌شوند	دنباله‌های طولانی از انتخاب‌های منفرد که هر یک به‌تنهایی چندان برجسته نیستند

Token probability و اینکه امتیاز از کجا می‌آید

هر دو عدد بر پایهٔ عدد سومی ساخته می‌شوند, یعنی لگاریتم درست‌نماییِ هر توکن، مادهٔ خامی که همه‌چیز دیگر از آن محاسبه می‌شود. برخی ابزارها آن را مستقیماً به شما نشان می‌دهند و بخش‌هایی را که متن شما در آن‌ها پیش‌بینی‌پذیرتر بوده است برجسته می‌کنند. این برجسته‌سازی‌ها، هر برداشتی که رابط کاربری القا کند، اتهامی دربارهٔ جمله‌های مشخص نیستند. آن‌ها بخش‌هایی هستند که بیشترین سهم را در یک عدد در سطح سند داشته‌اند.

رویکردهای پژوهشی از آستانه‌های ساده فراتر رفته‌اند. DetectGPT و نسل‌های پس از آن به انحنا نگاه می‌کنند: آن‌ها متن شما را اندکی دچار اغتشاش می‌کنند و بررسی می‌کنند که آیا درست‌نمایی با الگویی افت می‌کند که متن تولیدشده معمولاً نشان می‌دهد یا نه. برخی دیگر همان بخش را زیر دو مدل متفاوت مقایسه می‌کنند و از میزان اختلاف به‌عنوان نشانه استفاده می‌کنند.

یک پیامد برای هر کسی که مورد ارزیابی قرار می‌گیرد اهمیت دارد. چون این سنجه‌ها نسبت به یک مدل مرجع خاص محاسبه می‌شوند، هر امتیاز همواره نسبی به همان مدل است. دو آشکارساز می‌توانند یک پاراگراف یکسان را بخوانند و کاملا با هم اختلاف داشته باشند، و هیچ‌کدام هم دچار نقص نیستند. آن‌ها به یک پرسش واحد با نقاط مرجع متفاوت پاسخ می‌دهند.

پیامد دوم کمتر مورد اشاره قرار می‌گیرد. یک مدل فقط زمانی می‌تواند یک بخش را قابل پیش‌بینی تشخیص دهد که آن بخش شبیه چیزی باشد که مدل بر آن آموزش دیده است، بنابراین با بیشتر شدن فاصله میان مدل مرجع و هر چیزی که متن را تولید کرده است، کیفیت تشخیص کاهش می‌یابد. مولدهای جدیدتر، رشته‌های نامعمول و زبان‌هایی غیر از English همگی این فاصله را بیشتر می‌کنند. این یکی از دلایلی است که دقت اندازه‌گیری‌شده در یک محک کنترل‌شده، به ندرت در برخورد با انبوهی واقعی از ارسال‌ها دوام می‌آورد.

چرا متن AI اصلا تشخیص داده می‌شود

یک مدل زبانی چگونه واژه بعدی خود را انتخاب می‌کند

اگر یک مدل زبانی به حال خود رها شود، صرفا فهرست کامل و رتبه‌بندی‌شده خود از واژه‌های ممکن بعدی را گزارش می‌کند و می‌گذارد چیز دیگری انتخاب را انجام دهد. در عمل، یک راهبرد رمزگشایی این انتخاب را به صورت خودکار، واژه به واژه، انجام می‌دهد، و این که کدام راهبرد در حال اجراست، حتی وقتی خود مدل زیربنایی هرگز تغییر نمی‌کند، ظاهر خروجی را تغییر می‌دهد.

رمزگشایی حریصانه همیشه تنها واژه‌ای را برمی‌گزیند که بیشترین احتمال را دارد. در مقاله‌ای که نمونه‌گیری هسته‌ای را به عنوان یک راه‌حل معرفی کرد، Ari Holtzman و همکارانش مشاهده کردند که پیروی از این راهبرد به متنی می‌انجامد که به گفته خودشان، 'بی‌مزه و به‌طرزی عجیب تکراری' است. جست‌وجوی پرتو، که چند ادامه محتمل را هم‌زمان دنبال می‌کند و سپس بر یکی از آن‌ها تصمیم می‌گیرد، با نسخه‌ای مشابه از همین مسئله روبه‌رو می‌شود.

راهبردهای نمونه‌گیری مقداری تصادفی‌بودن را دوباره وارد می‌کنند، اما به شکلی کنترل‌شده. دما تعیین می‌کند که مدل پیش از آن‌که یک واژه انتخاب شود، تا چه اندازه به گزینه‌های برتر خود با شدت گرایش نشان دهد. نمونه‌گیری هسته‌ای، که گاهی top-p نیز نامیده می‌شود، توزیع را به کوچک‌ترین مجموعه واژه‌هایی محدود می‌کند که احتمال ترکیبی آن‌ها از یک آستانه عبور می‌کند و فقط از همان مجموعه نمونه می‌گیرد، و در مقاله اصلی چنین توصیف شده است که به جای دنباله نامطمئن آن، از یک هسته پویا از توزیع نمونه‌گیری می‌کند.

حتی کم‌قطعی‌ترینِ این تنظیم‌ها نیز همچنان از یک فهرست کوتاه برمی‌گیرد که بر پایه آنچه مدل از پیش محتمل‌تر می‌داند ساخته شده است. نوشتار انسانی هرگز با رتبه‌بندی یک واژگان و انتخاب از میان برترین‌های آن تولید نشده است، بنابراین پیوسته از آن فهرست کوتاه فراتر می‌رود. معنا گاهی در واژه‌ای زندگی می‌کند که هرگز در فهرست نبوده است.

تختی واژگانی: واژه‌های کمتر و ایمن‌تر

تختی واژگانی نسخه سطح واژه‌ای همین عادت است. در هر نقطه از یک جمله، ده‌ها واژه می‌توانند به‌طور معقول آن را ادامه دهند، اما چند واژه در رتبه‌بندی مدل بسیار بالاتر از بقیه قرار می‌گیرند و رمزگشایی پیوسته به همان چند واژه می‌رسد. اگر این انتخاب را در هر جمله یک متن ضرب کنیم، دامنه واژه‌هایی که واقعاً به کار می‌روند در مقایسه با نوشتاری انسانی با طول مشابه به‌طور محسوس محدودتر می‌شود.

این اثر به‌جای آنکه ثابت بماند، انباشته می‌شود. مدلی که در جمله اول به سراغ واژه رتبه‌بالا می‌رود، بیشتر احتمال دارد زمینه‌ای بسازد که در آن واژه رتبه‌بالای جمله دوم نیز رایج باشد، زیرا واژه‌های رایج معمولاً پس از واژه‌های رایج می‌آیند. نویسنده انسانی پیوسته این انحراف را قطع می‌کند و به سراغ اصطلاح فنی دقیق، فعل اندکی نامعمول‌تر، یا واژه‌ای می‌رود که خودِ چیز واقعی را نام می‌برد، نه تقریب امنی از آن را. این تفاوت به صورت واژگان کاریِ به‌طور محسوس کوچک‌تر در نسخه تولیدشده آشکار می‌شود، حتی وقتی هر دو نسخه همان واقعیت‌های زیربنایی را توصیف می‌کنند.

این ویژگیِ کلِ متن است، نه حاصلِ هیچ انتخابِ واژه‌ایِ منفرد. یک واژه امن هیچ چیزی را ثابت نمی‌کند. صفحه‌ای از چنین واژه‌هایی، که جمله پس از جمله به همان مرتبه از واژگان رایج دست می‌برد، همان چیزی است که سیگنالِ سطح واژهِ یک آشکارساز در اصل برای تشخیص آن ساخته شده است.

یکنواختی نحوی: همان الگوها، تکرارشده

یکنواختی نحوی نسخه سطح جمله است. مسئله طولانی بودن جمله نیست. مسئله این است که یک متن از چند الگوی دستوری متمایز استفاده می‌کند: جمله‌ها چگونه آغاز می‌شوند، بندها چگونه به یکدیگر می‌پیوندند، و یک واژه گذار چند بار کارِ پیوند دادن یک ایده به ایده بعدی را انجام می‌دهد. مدلی که پیوسته ساختار بعدیِ از نظر آماری محتمل را پیش‌بینی می‌کند، در یک چرخش کوچک از الگوها تثبیت می‌شود و همان را تکرار می‌کند.

یک پاراگراف می‌تواند طول جمله‌های خود را تغییر دهد و با این حال اگر هر جمله همان الگوی فاعل, فعل, متمم را دنبال کند, با همان نوع گذار آغاز شود, یا به همان شیوه پایان یابد, همچنان از نظر نحوی تخت به نظر برسد. پیش‌بینی‌پذیری در الگو نهفته است, نه در شمار واژه‌ها, و این تمایز در راهنمای اینکه burstiness در واقع چه چیزی را اندازه‌گیری می‌کند با جزئیات بیشتری بررسی شده است.

چه چیزی دامنه را محدود می‌کند	متن بهینه‌شده برای decoding معمولاً چه می‌کند	نوشتار انسانی معمولاً چه می‌کند
گزینش واژه	در هر گام بر رایج‌ترین واژه متداولِ محتمل‌تر تکیه می‌کند	به سراغ واژه مشخص‌تر یا کم‌کاربردتر می‌رود که خودِ چیز واقعی را نام می‌برد
آغاز جمله	یک چرخش کوچک از آغازهای انتقالیِ امن را تکرار می‌کند	نحوه آغاز جمله را متنوع می‌کند, از جمله آغازهایی که یک model آن‌ها را کم‌احتمال‌تر رتبه‌بندی می‌کند
ساختار بند	یک یا دو شکل دستوریِ ترجیحی را در سراسر یک متن تکرار می‌کند	بسته به نیاز جمله, ساختارهای ساده و پیچیده را با هم می‌آمیزد

گزینه‌هایی که فقط یک انسان معمولاً انجام می‌دهد

روی دیگرِ یک بازه محدود این است که چه چیزهایی بیرون از آن قرار می‌گیرند. فردی که رویدادهای واقعی را توصیف می‌کند به جای یک عدد گرد, رقم دقیق را برمی‌گزیند, بخشی را که درست از کار درنیامده است می‌پذیرد, جمله‌ای را در میانه اندیشه برای اصلاح آن قطع می‌کند, یا واژه‌ای را انتخاب می‌کند که درست است نه معمولی. هر یک از این انتخاب‌ها, از دید یک language model, یک token کم‌احتمال است, دقیقاً همان نوعی که decoding برای پرهیز از آن ساخته شده است.

هیچ‌یک از این‌ها به این معنا نیست که نوشتار مشخص یا غیرمعمول از هر نشانه‌ای در امان است, یا اینکه نوشتار روان و درست به طور پیش‌فرض مشکوک است. یک بخش روش‌ها, یک بند حقوقی, یا یک پیش‌نویس نهاییِ به‌شدت ویرایش‌شده می‌تواند به دلایلی که هیچ ربطی به یک model ندارند در یک بازه محدود قرار بگیرد, و به همین دلیل است که یک امتیاز واحد توصیفی از یک الگو است, نه حکمی درباره اینکه چه کسی آن را تایپ کرده است.

دیدن این که پیش‌نویس خودتان در آن طیف کجا قرار می‌گیرد، از حدس زدن مفیدتر است. perplexity checker رایگان و burstiness checker در TextPulse، پیش‌بینی‌پذیری در سطح واژه و ریتم جمله به جمله را جداگانه اندازه‌گیری می‌کنند، بنابراین واژگان یکنواخت و شکل تکراری جمله‌ها به صورت دو سیگنال متفاوت ظاهر می‌شوند، نه یک عدد آمیخته.

از اینجا دو صفحه محدودتر نتیجه می‌شود. Turnitin چگونه AI را به طور مشخص تشخیص می‌دهد یکی از آن‌هاست، و تفاوت میان نمره شباهت آن و نمره AI آن دیگری است، زیرا این دو به طور معمول با یکدیگر اشتباه گرفته می‌شوند.

هر دو درون مجموعه ابزارهای رایگان گسترده‌تر قرار دارند، برای هر کسی که بخواهد الگو را خودش ببیند، نه این که کورکورانه به یک عدد واحد اعتماد کند.

اکنون چه مقدار از وب توسط AI تولید می‌شود؟

بر اساس چندین سنجه، متن تولیدشده توسط ماشین اکنون از متن نوشته‌شده توسط انسان در فضای آنلاین پیشی گرفته است. یک تیم در Amazon Web Services، 6.4 میلیارد جمله را از وب تحلیل کرد و دریافت که 57.1% آن‌ها به صورت ترجمه ماشینی وجود داشته‌اند، در سه زبان یا بیشتر، که بخش زیادی از آن کیفیت پایینی داشت. یک تحلیل در 2025 از سوی شرکت SEO یعنی Graphite نشان داد که اندکی بیش از نیمی از مقاله‌های تازه منتشرشده وب توسط AI تولید شده بودند. Wikipedia نیز مستثنا نیست: یک مطالعه Princeton روی صفحاتی که در August 2024 ایجاد شده بودند، حدود یک مورد از هر بیست مقاله جدید انگلیسی را به طور قابل توجهی AI-generated سنجید.

این سهم در حال افزایش است، زیرا هزینه خروجی مدل‌ها چندین مرتبه بزرگی کمتر از نوشتن انسانی است و هر انگیزه تجاری در همان جهت عمل می‌کند. اکنون برخی پلتفرم‌ها به طور کامل بدون نویسندگان انسانی کار می‌کنند: Chirper یک شبکه اجتماعی است که کاملا از حساب‌های AI تشکیل شده است، جایی که انسان‌ها فقط می‌توانند تماشا کنند، و SocialAI یک فید می‌فروشد که در آن هر پاسخ به شما از سوی یک bot است. انجمن‌ها، بخش‌های نقد و رشته‌های دیدگاه نیز همین الگو را در مقیاسی کوچک‌تر حمل می‌کنند.

برای تشخیص، این امر نرخ پایه را تغییر می‌دهد. یک طبقه‌بند که متن وبِ دلخواه را در 2023 می‌خواند می‌توانست فرض کند بیشتر آن انسانی است، اما یک طبقه‌بند در 2026 نمی‌تواند. این امر همچنین به خودِ مدل‌ها بازخورد می‌دهد، زیرا هر نسل جدید بر وبی آموزش می‌بیند که نسل‌های پیشین پیش‌تر در آن نوشته‌اند، و این یکی از دلایلی است که عادت‌های واژگانی که آشکارسازها بر آن‌ها تکیه می‌کنند، به جای محو شدن، گسترش می‌یابند.

برای نوشتن خودِ شما، پیامد آن صریح است: نثرِ نوشته‌شده توسط انسان دارد به طبقه اقلیت تبدیل می‌شود، و ممیزان، ویراستاران و خوانندگان این را می‌دانند. بدگمانیِ بیشتر اکنون حالت پیش‌فرض است، و دقیقاً به همین دلیل است که فهمیدن این‌که یک آشکارساز چه چیزی را می‌تواند و چه چیزی را نمی‌تواند اندازه‌گیری کند، ارزشمند است.

آنچه آشکارسازهای تجاری در کنار آن اضافه می‌کنند

ابزارهایی که مؤسسات واقعاً می‌خرند، perplexity کتابی را اجرا نمی‌کنند. Turnitin، GPTZero، Originality و دیگران، طبقه‌بندهای نظارت‌شده را بر مجموعه‌های بزرگِ برچسب‌خورده از متنِ انسانی و ماشینی آموزش می‌دهند و از ویژگی‌های آماری در کنار ویژگی‌های سبکی استفاده می‌کنند. آنچه طبقه‌بند می‌آموزد هر چیزی است که آن دو توده را در داده‌های آموزشی‌اش از هم جدا کند، و این چیزی محدودتر و تاریخی‌تر از "AI writing" به طور کلی است.

وابستگی به آموزش، مسئله پنهان است. طبقه‌بندی که عمدتاً بر خروجیِ یک نسل از مدل آموزش دیده است، باید به مدل‌های جدیدتر، به رشته‌های ناآشنا، و به نویسندگانی تعمیم یابد که English آن‌ها شبیه توزیع آموزشی آن نیست. فروشندگان، ارقام دقت را از ارزیابی‌های خودشان منتشر می‌کنند، و سنجه‌های مستقل به طور معمول برای همان ابزارها بسیار پایین‌تر از آن ارقام قرار می‌گیرند.

خواندن یک امتیاز بدون بیش‌خوانی آن

گزارش یک آشکارساز معمولاً به صورت یک درصد می‌رسد، و آن درصد به طور مکرر بد خوانده می‌شود. این درصد، نسبتِ سند شما که توسط یک ماشین نوشته شده است نیست. بسته به ابزار، این درصد یا اطمینانِ طبقه‌بند است، یا سهمِ جمله‌هایی که از یک آستانه داخلی عبور کرده‌اند، و فروشندگان اغلب درباره این‌که کدام‌یک است مبهم‌اند. دو گزارشی که هر دو شصت درصد را نشان می‌دهند می‌توانند معنای بسیار متفاوتی داشته باشند.

همچنین دانستن این نکته ارزشمند است که چه چیزهایی یک امتیاز را به دلایلی که هیچ ارتباطی با نویسنده آن ندارند جابه‌جا می‌کنند. اسناد کوتاه نویز بیشتری دارند، زیرا متن کمتری برای تثبیت میانگین‌ها وجود دارد، و یک مقاله 500 واژه‌ای می‌تواند بر اثر 2 یا 3 جمله غیرمعمول به‌طور چشمگیری تغییر کند. متن نقل‌قول‌شده نیز حساب می‌شود، مگر آنکه ابزار آن را حذف کند، بنابراین یک مرور ادبیات که پر از نقل‌قول‌های بلوکی است، پیش‌بینی‌پذیری هر چیزی را که نقل می‌کند به ارث می‌برد. یک بخش فنی که مملو از اصطلاحات استاندارد است نیز به همین شکل رفتار می‌کند.

اگر شما با یک پرچم‌گذاری روبه‌رو شوید، پاسخ مفید شواهد است، نه استدلالی درباره سنجه. تاریخچه نسخه‌ها، پیش‌نویس‌ها، یادداشت‌ها و سوابق جست‌وجو همگی درباره فرایند سخن می‌گویند، و فرایند همان چیزی است که یک هیئت رسیدگی به تخلف می‌تواند واقعاً ارزیابی کند. هیچ آستانه‌ای وجود ندارد که کسی بتواند به آن اشاره کند و میان یک نویسنده دقیق و یک مدل تمایز بگذارد.

چرا آشکارسازها متنی را پرچم‌گذاری می‌کنند که هیچ مدلی تولید نکرده است

مثبت‌های کاذب یک نقص نادر نیستند. آن‌ها مستقیماً از سنجش تیپیک بودن ناشی می‌شوند. هر متنی که واقعاً پیش‌بینی‌پذیر باشد، به‌عنوان پیش‌بینی‌پذیر امتیاز می‌گیرد، صرف‌نظر از اینکه چه کسی آن را تولید کرده است.

نویسندگان انگلیسی‌زبانِ غیربومی بیشترین آسیب را می‌بینند. پژوهشگران Stanford دریافتند که آشکارسازها بخش بزرگی از مقاله‌های نوشته‌شده توسط گویشوران غیربومی را به‌اشتباه به‌عنوان تولیدشده توسط ماشین طبقه‌بندی کردند، در حالی که مقاله‌های گویشوران بومی را درست طبقه‌بندی کردند. دلیل آن مکانیکی است نه بدخواهانه: نویسندگانی که در یک زبان دوم کار می‌کنند، معمولاً به ساختارهای جاافتاده و واژگان رایج‌تر تکیه می‌کنند. این دقیقاً همان نمایه perplexity پایین است، و به همین دلیل نویسندگان ESL برای نوشتن دقیق پرچم‌گذاری می‌شوند.

هنجارهای دانشگاهی همان مشکل را ایجاد می‌کنند. یک بخش روش‌ها قرار است قالبی باشد. نگارش حقوقی، مستندسازی فنی و گزارش‌نویسی بالینی همگی عبارت‌بندی استاندارد را بر عبارت‌بندی خلاقانه ترجیح می‌دهند. ویرایش سنگین این مشکل را بیشتر می‌کند، زیرا صیقل دادن یک پیش‌نویس معمولاً به معنای حذف بی‌نظمی‌هایی است که امضای آماری شما را حمل می‌کردند.

مؤسسات متوجه شده‌اند. Vanderbilt ویژگی تشخیص هوش مصنوعی Turnitin را غیرفعال کرد، به جای آنکه بر اساس امتیازهایی عمل کند که نمی‌توانست آن‌ها را راستی‌آزمایی کند، و دانشگاه‌های دیگر نیز نحوه استفاده از این اعداد را در رسیدگی‌های تخلف محدود کرده‌اند. امتیاز یک آشکارساز را تنها به عنوان یک قرینه ضعیف در نظر بگیرید، نه یک حکم.

این برای نوشتار خود شما چه معنایی دارد

توصیه‌های عملی که از این سازوکار برمی‌آیند، غیرعادی نیستند و هیچ‌کدام شامل دستکاری چیزی نمی‌شوند. طول جمله‌های خود را آگاهانه تغییر دهید، زیرا یکنواختی همان چیزی است که ثبت می‌شود. جزئیات مشخص را حفظ کنید, رقم واقعی، محدودیت واقعی، چیزی که در هفته ششم خراب شد. شایستگی کلی و مبهم همان چیزی است که به عنوان متن ماشینی امتیاز می‌گیرد، و مشخص‌بودن هم نوشتار بهتری است و هم نشانه‌ای قوی‌تر.

اصطلاح‌پردازی خودتان را هم حفظ کنید. اگر شیوه‌ای برای بیان دارید، آن را نگه دارید. این میل که پیش‌نویس را آن‌قدر صیقل دهید تا شبیه هر مقاله دیگری در این حوزه شود، همان میلی است که perplexity شما را پایین می‌آورد.

یک چیز را باید از آن پرهیز کرد: برخی ابزارها عمداً خطاهای دستوری وارد می‌کنند تا perplexity را بالا ببرند. این کار از نظر این سنجه مؤثر است و برای هر متن نمره‌دار یا داوری‌شده به‌هیچ‌وجه ایده خوبی نیست، زیرا شما یک ظن را با یک قطعیت عوض می‌کنید. هدف، نوشتاری است که به عنوان نوشته شما خوانده شود، نه نوشتاری که عمداً آسیب دیده باشد. این همان تفاوت کامل میان بازنویسی برای یک خواننده انسانی و خراب کردن متن برای فریب دادن یک امتیازدهنده است.

اگر می‌خواهید این اعداد را برای پیش‌نویس خودتان ببینید، نه اینکه صرفاً حرف یک جعبه سیاه را بپذیرید، سنجه‌های زیربنایی محرمانه نیستند. ابزارهای رایگان تحلیل متن نشان می‌دهند نثر شما در چه وضعی قرار دارد، و خودتان می‌توانید تصمیم بگیرید که آیا بخش‌های یکنواخت، یک مسئله سبکی هستند که ارزش اصلاح دارند یا نه.