آیا آشکارسازهای هوش مصنوعی هنوز به perplexity و burstiness تکیه میکنند؟
GPTZero perplexity و burstiness را مشهور کرد، سپس هر دو را در پاییز 2023 بهطور خاموش با یک طبقهبند یادگیری عمیق کنار گذاشت. این نوشته بررسی میکند چه چیزی تغییر کرد، GPTZero و Turnitin امروز دقیقاً چه چیزی را مستند میکنند، و چرا این دو آماره هنوز توضیح میدهند که چرا متن ماشینی قابل تشخیص است، هرچند هیچیک از این دو فروشنده دیگر آنها را مستقیماً محاسبه نمیکنند.
امروز اگر جستجو کنید که GPTZero چگونه نوشتار AI را تشخیص میدهد، بیشتر نتایج هنوز حول دو شاخص، perplexity و burstiness، میچرخند، همان دوگانهای که این ابزار را ظرف چند هفته پس از عرضه در ژانویه 2023 مشهور کرد. اما مستندات پشتیبانی خود GPTZero اکنون چیز دیگری میگویند: این ابزار در پاییز همان سال، استفاده از هر دو را متوقف کرد.
پس آیا burstiness هنوز توسط آشکارسازهای AI استفاده میشود؟ نه توسط ابزاری که این اصطلاح را در محافل دانشگاهی به واژهای رایج تبدیل کرد. مرکز پشتیبانی GPTZero صریحاً میگوید که دیگر از perplexity یا burstiness استفاده نمیکند و به جای آن به یک معماری یادگیری عمیق منتقل شده است. Turnitin، ابزاری که بیشتر دانشجویان در عمل با آن روبهرو میشوند، از همان ابتدا هیچیک از این دو اصطلاح را به عنوان بخشی از روش خود منتشر نکرده است. این مفاهیم از گفتوگو حذف نشدهاند. از محصولاتی حذف شدهاند که واقعاً کار تشخیص را انجام میدهند.
آیا burstiness هنوز توسط آشکارسازهای AI استفاده میشود؟
خیر، نه توسط GPTZero، و نه به این نام. مستندات پشتیبانی خود GPTZero این را به طور مستقیم بیان میکند: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." راهنماهای خود Turnitin نیز روش دیگری را توصیف میکنند که بر امتیازدهی به بخشهایی از یک submission با یک classifier آموزشدیده استوار است، و هیچیک از این دو اصطلاح نیز در آن مستندات دیده نمیشود. آن دو شاخصی که موج نخست تشخیص AI را تعریف کردند، همان چیزی نیستند که ابزارهای پیشرو در حال حاضر اجرا میکنند. این گزاره از این هم محدودتر است که بگوییم کنار گذاشته شدهاند: توضیح خود GPTZero هنوز آنها را در میان هفت شاخصی میشمارد که مدلش را تغذیه میکنند. آنها از روش بودن بازایستادند، بیآنکه از سنجش بودن بازایستند، و تفاوت میان این دو ادعا بخش عمدهای از همین پرسش را شکل میدهد.
در پاییز 2023 چه چیزی تغییر کرد
این دو اصطلاح هرگز مبهم نبودند. توضیح اولیه خود GPTZero، perplexity را «معیاری از این که یک مدل AI تا چه اندازه احتمال داشت دقیقاً همان مجموعه واژههایی را انتخاب کند که در سند آمده است» تعریف میکرد، و burstiness را «معیاری از این که الگوهای نوشتار و perplexityهای متن تا چه اندازه در سراسر سند تغییر میکنند» میدانست، یعنی آماری در سطح سند، نه یک شمارش ساده از طول جمله. هر دو تعریف هنوز هم در سایت GPTZero منتشر شدهاند. آنچه تغییر کرده این است که آشکارساز در عمل کدام یک را اجرا میکند.
عبارت «Migrated to a deep-learning based architecture» یک ادعای مشخص است، نه یک عبارت بازاریابی، و از یک تغییر واقعی در نوع حکایت میکند. یک نمره perplexity مستقیماً از یک فرمول محاسبه میشود: متن را از یک مدل زبانی مرجع عبور دهید، احتمالهای لگاریتمی را میانگین بگیرید، و نتیجه را به توان برسانید. در عوض، یک طبقهبند deep-learning آموزش داده میشود، به آن تعداد زیادی نمونه انسانی و AI نوشته نشان داده میشود تا خودِ آن بیاموزد، هر ترکیب ویژگیای را که دو دسته را در آن داده آموزشی از هم جدا میکند. در رویکرد دوم، هیچکس قاعده را به صورت دستی نمینویسد. مدل آن را پیدا میکند.
هر دو اصطلاح کنار گذاشتهشده در جای دیگری از این سایت با توضیح کامل آمدهاند: آنچه perplexity در عمل اندازهگیری میکند و آنچه burstiness در عمل اندازهگیری میکند هر کدام سازوکار خود را با جزئیات، از جمله فرمولهای پشت آنها، پوشش میدهند. این بخش فقط بر این پرسش متمرکز میماند که آیا امروز هنوز هر یک از آنها همان چیزی است که یک آشکارساز اجرا میکند یا نه.
آنچه GPTZero و Turnitin امروز واقعاً مستند میکنند
صفحه فناوری کنونی GPTZero، که توضیح میدهد چه چیزی در محصول عرضه شده است، بیان میکند که آشکارساز آن یک «end-to-end deep learning approach» است، با یک «sentence-by-sentence classification model» که یک خروجی احتمالی همراه با نمره اطمینان تولید میکند. perplexity و burstiness در هیچ جای آن صفحه دیده نمیشوند، نه به عنوان یک مؤلفه، نه به عنوان یک ویژگی قدیمی، نه در پاورقی.
مستندات Turnitin از ابتدا اصلاً بر پایه هیچیک از این دو اصطلاح ساخته نشده بود. راهنماهای آن یک ارسال را به بخشهایی با چند صد واژه تقسیمشده توصیف میکنند، که هر بخش بهوسیله یک مدل آموزشدیده امتیاز میگیرد و امتیازهای بخشها در یک درصد واحدی که گزارش نمایش میدهد میانگینگیری میشوند. این یک طبقهبند نظارتشده است که روی بخشهای متن کار میکند، از همان خانواده روشهایی که GPTZero به آنها روی آورده است، نه یک محاسبه perplexity و نه یک محاسبه burstiness با نامی دیگر.
این جابهجایی را آسانتر میتوان در کنار هم دید.
| آنچه توضیحدهندههای اولیه توصیف کردند (2023) | آنچه مستندات کنونی توصیف میکنند | |
|---|---|---|
| GPTZero | perplexity و burstiness، امتیازدهیشده در برابر یک مدل مرجع | یک طبقهبند یادگیری عمیق جملهبهجمله که یک احتمال و امتیاز اطمینان خروجی میدهد |
| Turnitin | هرگز منتشر نشد، این اصطلاحات در هیچیک از مواد خود Turnitin در هیچ زمانی ظاهر نمیشوند | بخشهایی با چند صد واژه که بهوسیله یک طبقهبند آموزشدیده امتیاز میگیرند و در یک درصد واحد میانگین میشوند |
مقاله خود را انسانیسازی کنید
متنِ کمکگرفته از AI خود را دگرگون کنید و کاری کنید طبیعی به نظر برسد، بدون دست زدن به واژههای مهم یا ارجاعها.
چرا این مفاهیم هنوز تشخیصپذیری را توضیح میدهند
هیچیک از اینها perplexity و burstiness را نادرست نمیکند، فقط آنها را بهعنوان توصیفی از سازوکار کنونی قدیمی میکند. هر دو مفهوم همیشه چیزی واقعی را توصیف میکردند: متنی که با نمونهگیری بهسوی ادامههای با بالاترین احتمالِ خودِ یک مدل تولید میشود، واژه به واژه، معمولاً از متنی که یک انسان از صفر مینویسد قابل پیشبینیتر است، و معمولاً از یک جمله به جمله بعد کمتر تغییر میکند. این نظم زیربنایی تغییر نکرده است، چون یک عرضهکننده معماری آشکارساز خود را تغییر داده است. آنچه تغییر کرده این است که آشکارساز چگونه به دنبال آن میگردد.
طبقهبند آموزشدیده بهطور صریح از او خواسته نشده است که به دنبال perplexity یا burstiness بگردد. بلکه، این طبقهبند بر همان تمایز بنیادی میان متن انسانی و متن ماشینی آموزش دیده است که آن دو آماره برای ثبت آن طراحی شده بودند. و بسیار بعید به نظر میرسد که طبقهبندیکنندهای که برای تمایز میان این دو دسته آموزش دیده است، دقیقاً بر همان نظممندی, که یکی از قابلاعتمادترین تفاوتها میان این دو است, تکیه نکند. این یک استنباط درباره این است که چرا طبقهبند احتمالاً کار میکند، نه ادعایی درباره فهرست ویژگیهای منتشرشده آن، و این دو باید از هم جدا نگه داشته شوند.
پژوهش مستقل از این ایده پشتیبانی میکند که آماره زیربنایی همچنان کارایی دارد، حتی بیرون از محصول هر فروشندهای. DetectGPT، یک روش آکادمیک zero-shot که در 2023 منتشر شد، به یک خویشاوند نزدیک perplexity نگاه میکند، یعنی اینکه تابع log-probability یک مدل در پیرامون یک passage با چه شدتی خم میشود، و در یک benchmark به AUROC برابر 0.95 میرسد، در برابر 0.81 برای بهترین baseline پیشین zero-shot، بدون آنکه اصلاً یک طبقهبند را بر نمونههای برچسبدار آموزش دهد. ایده اصلی، اینکه متن تولیدشده توسط ماشین در ناحیهای آماری متمایز از فضای احتمال خودِ مدل قرار میگیرد، همچنان موضوع پژوهش فعال است. این صرفاً همان چیزی نیست که GPTZero به کاربران عرضه میکند.
چرا اینهمه از اینترنت هنوز این را اشتباه میفهمد
بیشتر توضیحات منتشرشده درباره اینکه تشخیص AI چگونه کار میکند، در زمان راهاندازی GPTZero در January 2023 یا اندکی پس از آن نوشته شدند، زمانی که perplexity و burstiness تنها چارچوببندی عمومی بودند که خود شرکت ارائه میکرد. آن صفحات توضیحی اولیه هنوز امروز هم در دسترساند. اطلاعیه بازنشستگی autumn 2023 در یک صفحه پشتیبانی جداگانه قرار دارد، نه اینکه در همان صفحات ادغام شده باشد، بنابراین نویسندهای که صفحه نخست را خوانده و پژوهش را متوقف کرده باشد، دلیلی نداشت بداند که این روش کمتر از یک سال بعد تغییر کرده است.
یک بررسی آشکارسازِ شخص ثالث که در 2026 در گردش است، ادعا میکند GPTZero هنوز perplexity و burstiness را به عنوان یک لایه در میان چندین لایه درون یک سامانه بزرگتر اجرا میکند. این ادعا مستقیماً با صفحه فناوری فعلی خود GPTZero و نیز مستندات پشتیبانی خود آن در تضاد است، و هیچ چیز در سایت خود GPTZero این ادعا را تأیید نمیکند. شرکتی که محصول عرضهشده خود را توصیف میکند، همچنان از یک ادعای تأییدنشده شخص ثالث درباره همان محصول معتبرتر است، هرچند مستندات فروشنده هم میتوانند نادرست باشند. این نوشته به جای آن بررسی که داستان قدیمیتر را تکرار میکند، از صفحات خود GPTZero پیروی میکند.
این برای شیوه نوشتن شما چه معنایی دارد
راهنمایی عملیِ مبتنی بر burstiness صرفاً به این دلیل که این واژه از مواد خود GPTZero ناپدید شده، بیفایده نشده است. تغییر عمدی طول جملهها همچنان، از نظر مکانیکی، استدلالی درباره پرهیز از همان یکنواختی آماری است که یک طبقهبند به احتمال زیاد برای تشخیص آن آموزش دیده است، هر نامی که آن سیگنال را درونی بنامد. توصیه زیربنایی با وجود تغییر معماری فروشنده باقی مانده است، هرچند واژگانی که آن را توصیف میکردند باقی نماندهاند.
هیچیک از اینها مستلزم پذیرفتن گفته هیچکس، از جمله این نوشته، نیست. perplexity checker رایگان TextPulse و نیز مجموعه ابزارهای رایگان گستردهتر به شما امکان میدهند پیش از آنکه هر آشکارسازی، از هر نسلی، سراغ پیشنویس شما برود، ببینید متن شما در کجا قرار میگیرد.
اگر پاسخ شما را به نوشتار خودتان بازگرداند، پیگیریهای عملی بعدی افزایش عمدی burstiness و متنوعسازی طول جمله در سراسر یک بند دانشگاهی است، که همان کار است، فقط بدون این سنجه توصیف شده است.
سازوکاری که یک آشکارساز اجرا میکند پیوسته تغییر خواهد کرد، GPTZero پیشتر یک بار آن را تغییر داده است. آنچه ثابت میماند پرسش واقعی است، که به طور کامل در راهنمای این سایت درباره اینکه آشکارسازهای AI واقعاً چگونه کار میکنند پوشش داده شده است: آیا نوشتار قابل پیشبینی همان چیزِ نوشتارِ ماشیننوشته است یا نه، صرفنظر از اینکه در یک سال معین کدام فرمول مد روز باشد.
سؤالات متداول
آیا burstiness هنوز در آشکارسازهای هوش مصنوعی استفاده میشود؟ نه توسط GPTZero، و نه با همین نام. مستندات پشتیبانی خود GPTZero تصریح میکند که این شرکت از پاییز 2023، پس از مهاجرت به یک معماری مبتنی بر یادگیری عمیق، استفاده از perplexity و burstiness را برای تشخیص متوقف کرده است. Turnitin هرگز هیچیک از این دو اصطلاح را بهعنوان بخشی از روش خود منتشر نکرده است، و اکنون هر دو شرکت بهجای آن از طبقهبندهای آموزشدیده سخن میگویند.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.