آیا آشکارسازهای هوش مصنوعی هنوز به perplexity و burstiness متکی هستند؟
GPTZero perplexity و burstiness را مشهور کرد، سپس هر دو را در پاییز 2023 بهطور خاموش با یک طبقهبند یادگیری عمیق کنار گذاشت. این نوشته بررسی میکند چه چیزی تغییر کرد، GPTZero و Turnitin امروز دقیقاً چه چیزی را مستند میکنند، و چرا این دو آمار هنوز توضیح میدهند که چرا متن ماشینی قابل تشخیص است، هرچند هیچیک از این دو فروشنده دیگر آنها را مستقیماً محاسبه نمیکنند.
جستوجو برای اینکه GPTZero امروز چگونه نوشتار هوش مصنوعی را تشخیص میدهد، هنوز در بیشتر موارد به دو آمار، perplexity و burstiness، میرسد، همان دوگانهای که این ابزار را ظرف چند هفته پس از عرضه در ژانویه 2023 مشهور کرد. اما مستندات پشتیبانی خود GPTZero اکنون چیز دیگری میگویند: این ابزار در پاییز همان سال استفاده از هر دو را متوقف کرد.
پس آیا burstiness هنوز توسط آشکارسازهای هوش مصنوعی استفاده میشود؟ نه توسط ابزاری که این اصطلاح را در محافل دانشگاهی به واژهای رایج تبدیل کرد. مرکز پشتیبانی GPTZero صریحاً میگوید که دیگر از perplexity یا burstiness استفاده نمیکند و بهجای آن به یک معماری یادگیری عمیق روی آورده است. Turnitin، ابزاری که بیشتر دانشجویان در عمل با آن روبهرو میشوند، از همان ابتدا هیچیک از این دو اصطلاح را بهعنوان بخشی از روش خود منتشر نکرده است. این مفاهیم از گفتوگو حذف نشدهاند. آنها از محصولاتی حذف شدهاند که واقعاً تشخیص را انجام میدهند.
آیا burstiness هنوز توسط آشکارسازهای هوش مصنوعی استفاده میشود؟
خیر، نه توسط GPTZero، و نه به این نام. مستندات پشتیبانی خود GPTZero این را بهطور مستقیم بیان میکند: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." راهنماهای خود Turnitin نیز بار دیگر روشی متفاوت را توصیف میکنند که بر امتیازدهی به بخشهایی از یک ارسال با یک طبقهبند آموزشدیده استوار است، و هیچیک از این دو اصطلاح نیز در آن مستندات دیده نمیشود. آن دو آماری که موج نخست تشخیص هوش مصنوعی را تعریف کردند، همان چیزی نیستند که ابزارهای پیشرو در حال حاضر اجرا میکنند. این گزاره از اینکه بگوییم آنها کنار گذاشته شدهاند محدودتر است: توضیحدهنده خود GPTZero هنوز آنها را در میان هفت شاخصی میشمارد که به مدل آن خوراک میدهند. آنها از روش بودن بازایستادند، بیآنکه از اندازهگیری بودن بازایستند، و تفاوت میان این دو ادعا بخش بزرگی از همین پرسش را تعیین میکند.
در پاییز 2023 چه چیزی تغییر کرد
این دو اصطلاح هرگز مبهم نبودند. توضیح اولیه خود GPTZero، perplexity را «معیاری از این که یک مدل AI تا چه اندازه احتمال داشت دقیقاً همان مجموعه واژههایی را انتخاب کند که در سند آمده است» تعریف میکرد، و burstiness را «معیاری از این که الگوهای نوشتار و perplexityهای متن تا چه اندازه در سراسر سند تغییر میکنند» میدانست، یعنی یک آمار در سطح سند، نه یک شمارش ساده از طول جمله. هر دو تعریف هنوز در سایت GPTZero منتشر شدهاند. آنچه تغییر کرده این است که آشکارساز در عمل کدام یک را اجرا میکند.
عبارت «Migrated to a deep-learning based architecture» یک ادعای مشخص است، نه یک عبارت بازاریابی، و به یک تغییر واقعی در نوع اشاره دارد. یک امتیاز perplexity مستقیماً از یک فرمول محاسبه میشود: متن را از یک مدل زبانی مرجع عبور دهید، احتمالهای لگاریتمی را میانگین بگیرید، و نتیجه را نمایی کنید. در عوض، یک طبقهبند deep-learning آموزش داده میشود، و نمونههای فراوانی از متنهای انسانی و AI-written به آن نشان داده میشود تا خودِ آن بیاموزد که هر ترکیب از ویژگیها که در آن داده آموزشی دو دسته را از هم جدا میکند چیست. در رویکرد دوم، هیچکس قاعده را به صورت دستی نمینویسد. مدل آن را پیدا میکند.
هر دو اصطلاح کنار گذاشتهشده، در جای دیگری از این سایت توضیح کامل دارند: آنچه perplexity در عمل اندازهگیری میکند و آنچه burstiness در عمل اندازهگیری میکند هر کدام سازوکار خود را با جزئیات، از جمله فرمولهای پشت آنها، پوشش میدهند. این نوشته فقط بر این پرسش متمرکز میماند که آیا هر یک از آنها هنوز همان چیزی است که یک آشکارساز امروز اجرا میکند یا نه.
آنچه GPTZero و Turnitin امروز واقعاً مستند میکنند
صفحه فناوری کنونی GPTZero، که آنچه را در محصول ارائه میشود توصیف میکند، بیان میکند که این شرکت از «an end-to-end deep learning approach, trained on text datasets from the web, education, and AI-generated from a range of LLMs» استفاده میکند، رویکردی که در آن «a sentence-by-sentence classification model determines the probability and confidence that a text was created by AI». perplexity و burstiness در هیچ جای آن صفحه دیده نمیشوند، نه به عنوان یک مؤلفه، نه به عنوان یک ویژگی قدیمی، و نه در یک پانویس.
مستندات Turnitin در اصل هرگز بر هیچیک از این دو اصطلاح بنا نشده بود. راهنماهای آن یک ارسال را به بخشهایی با چند صد واژه تقسیمشده توصیف میکنند، هر بخش را یک مدل آموزشدیده امتیاز میدهد، و امتیازهای بخشها در یک درصد واحدی که گزارش نمایش میدهد میانگین گرفته میشود. این یک طبقهبند نظارتشده است که روی بخشهای متن کار میکند، همان خانواده روش که GPTZero به آن روی آورده است، نه یک محاسبه perplexity و نه یک محاسبه burstiness با نامی دیگر.
این جابهجایی را آسانتر میتوان در کنار هم دید.
| آنچه توضیحدهندههای اولیه توصیف میکردند (2023) | آنچه مستندات کنونی توصیف میکنند | |
|---|---|---|
| GPTZero | Perplexity و burstiness، با امتیازدهی در برابر یک مدل مرجع | یک طبقهبند یادگیری عمیق جمله به جمله که یک احتمال و نمره اطمینان خروجی میدهد |
| Turnitin | هرگز منتشر نشد، این اصطلاحات در هیچیک از مواد خود Turnitin در هیچ زمانی ظاهر نمیشوند | بخشهایی با چند صد واژه که توسط یک طبقهبند آموزشدیده امتیاز میگیرند، و در یک درصد واحد میانگین گرفته میشوند |
مقاله خود را انسانیسازی کنید
متنِ کمکگرفته از AI خود را دگرگون کنید و کاری کنید طبیعی به نظر برسد، بدون دست زدن به واژههای مهم یا ارجاعها.
چرا این مفاهیم هنوز قابلیت آشکارسازی را توضیح میدهند
هیچیک از اینها perplexity و burstiness را نادرست نمیکند، فقط آنها را بهعنوان توصیفی از سازوکار کنونی قدیمی میکند. هر دو مفهوم همیشه چیزی واقعی را توصیف میکردند: متنی که با نمونهگیری به سوی ادامههای با بالاترین احتمالِ خودِ یک مدل تولید میشود، واژه به واژه، معمولاً از متنی که یک انسان از صفر مینویسد قابل پیشبینیتر است، و معمولاً از یک جمله تا جمله بعد کمتر تغییر میکند. این نظم زیربنایی تغییر نکرده است، چون یک عرضهکننده معماری آشکارساز خود را تغییر داده است. آنچه تغییر کرده، شیوهای است که آشکارساز برای یافتن آن به کار میگیرد.
طبقهبند آموزشدیده بهطور صریح برای جستوجوی perplexity یا burstiness درخواست نمیشود. بلکه، این طبقهبند بر همان تمایز بنیادی میان متن انسانی و متن ماشینی آموزش دیده است که آن دو آمار برای ثبت آن طراحی شده بودند. و بسیار بعید به نظر میرسد که طبقهبندی که برای تمایز میان این دو مجموعه آموزش دیده است، دقیقاً بر همان نظممندی, که یکی از قابلاعتمادترین تفاوتها میان این دو است, نیز تکیه نکند. این یک استنباط درباره این است که چرا طبقهبند احتمالاً کار میکند، نه ادعایی درباره فهرست ویژگیهای منتشرشده آن، و این دو باید از هم جدا نگه داشته شوند.
پژوهش مستقل از این ایده پشتیبانی میکند که آمار زیربنایی همچنان کارایی دارد، حتی بیرون از محصول یک فروشنده واحد. DetectGPT, یک روش آکادمیک zero-shot که در 2023 منتشر شد، به یک خویشاوند نزدیک perplexity نگاه میکند, یعنی اینکه تابع log-probability یک مدل در پیرامون یک passage با چه شدتی خم میشود، و روی یک benchmark به AUROC برابر 0.95 میرسد, در برابر 0.81 برای بهترین baseline پیشین zero-shot, آن هم بدون آموزش دادن هیچ طبقهبندی بر نمونههای برچسبخورده. ایده اصلی, اینکه متن تولیدشده توسط ماشین در ناحیهای آماری و متمایز از فضای احتمال خودِ یک مدل قرار میگیرد, همچنان موضوع پژوهش فعال است. این صرفاً همان چیزی نیست که GPTZero به کاربران عرضه میکند.
چرا اینهمه از اینترنت هنوز این را نادرست میفهمد
بیشتر توضیحهای منتشرشده درباره اینکه تشخیص AI چگونه کار میکند، در زمان راهاندازی GPTZero در January 2023 یا اندکی پس از آن نوشته شدند، زمانی که perplexity و burstiness تنها چارچوببندی عمومی بودند که خود شرکت ارائه میکرد. آن صفحههای توضیحی اولیه هنوز هم امروز در دسترساند. اطلاعیه بازنشستگی autumn 2023 در یک صفحه پشتیبانی جداگانه قرار دارد، نه اینکه در همان صفحات ادغام شده باشد، بنابراین نویسندهای که صفحه نخست را خوانده و پژوهش را متوقف کرده باشد، دلیلی نداشت بداند که روش کمتر از یک سال بعد تغییر کرده است.
یک بررسی ردیابِ شخص ثالث که در 2026 در گردش است، ادعا میکند GPTZero هنوز perplexity و burstiness را بهعنوان یک لایه در میان چندین لایه درون یک سامانه بزرگتر اجرا میکند. آن ادعا مستقیماً با صفحه فناوری فعلی خود GPTZero و نیز مستندات پشتیبانی خود آن در تضاد است، و هیچ چیز در سایت خود GPTZero آن را تأیید نمیکند. توصیف یک شرکت از محصولی که خود عرضه کرده است، همچنان بر یک ادعای تأییدنشده از سوی شخص ثالث درباره همان محصول برتری دارد، هرچند مستندات فروشنده هم ممکن است نادرست باشند. این نوشته بهجای آن بررسی که روایت قدیمیتر را تکرار میکند، از صفحات خود GPTZero پیروی میکند.
این برای شیوه نوشتن شما چه معنایی دارد
راهنمایی عملیِ مبتنی بر burstiness صرفاً به این دلیل که این واژه از مواد خود GPTZero ناپدید شده، بیفایده نشده است. متنوع کردن عمدی طول جملهها همچنان، از نظر مکانیکی، استدلالی درباره پرهیز از همان یکنواختی آماری است که یک طبقهبند به احتمال بسیار زیاد برای تشخیص آن آموزش دیده است، هر نامی که آن سیگنال را در درون خود بنامد. توصیه زیربنایی با وجود تغییر معماری فروشنده باقی مانده است، هرچند واژگانی که آن را توصیف میکنند باقی نماندهاند.
هیچیک از اینها مستلزم پذیرفتن حرف کسی نیست، از جمله این نوشته. بررسیکننده رایگان perplexity در TextPulse و نیز مجموعه ابزارهای رایگان گستردهتر به شما امکان میدهند پیش از آنکه هر ردیاب، از هر نسلی، سراغ متن شما برود، ببینید پیشنویس خودتان در چه وضعی قرار دارد.
اگر پاسخ شما را به نوشتار خودتان برگرداند، پیگیریهای عملی عبارتاند از افزایش عمدی burstiness و متنوع کردن طول جمله در یک بند دانشگاهی، که همان کار است، فقط بدون این سنجه توصیف شده است.
سازوکاری که یک ردیاب اجرا میکند پیوسته تغییر خواهد کرد، GPTZero پیشتر یک بار آن را تغییر داده است. آنچه ثابت میماند پرسش واقعی است، که بهطور کامل در راهنمای این سایت درباره اینکه ردیابهای AI واقعاً چگونه کار میکنند پوشش داده شده است: آیا نوشتار قابل پیشبینی همان نوشتارِ ماشیننوشته است یا نه، فارغ از اینکه در یک سال معین کدام فرمول مد روز باشد.
سؤالات متداول
آیا burstiness هنوز توسط آشکارسازهای هوش مصنوعی استفاده میشود؟ نه توسط GPTZero، و نه با این نام. مستندات پشتیبانی خود GPTZero تصریح میکند که این شرکت از پاییز 2023، پس از مهاجرت به یک معماری مبتنی بر یادگیری عمیق، استفاده از perplexity و burstiness را برای تشخیص متوقف کرده است. Turnitin هرگز هیچیک از این دو اصطلاح را بهعنوان بخشی از روش خود منتشر نکرده است، و هر دو شرکت اکنون بهجای آن از طبقهبندهای آموزشدیده سخن میگویند.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
