پریپلکسی در تشخیص هوش مصنوعی چیست؟

جست‌وجوی perplexity و تشخیص هوش مصنوعی در کنار هم، و چند نتیجه برتر در نهایت درباره یک محصول نامرتبط هستند: یک موتور جست‌وجوی مبتنی بر هوش مصنوعی که اتفاقاً Perplexity نام دارد. معیاری که یک آشکارساز واقعاً گزارش می‌کند، جز واژه، هیچ شباهتی با آن شرکت ندارد. این معیار از پژوهش‌های تشخیص گفتار می‌آید که دهه‌ها قدیمی‌تر از GPTZero یا موتور جست‌وجو هستند، و چیزی محدودتر از هر دو را اندازه می‌گیرد: این که یک مدل زبانی تا چه حد از واژه‌های از پیش موجود در صفحه شگفت‌زده می‌شود.

پس perplexity در تشخیص هوش مصنوعی چیست؟ perplexity نمره‌ای است که نشان می‌دهد یک مدل زبانی تا چه اندازه توانسته واژه‌های دقیق یک بخش را پیش‌بینی کند، و با میانگین‌گیری از احتمال‌های خود مدل و تبدیل نتیجه به یک عدد واحد به دست می‌آید. نمره پایین یعنی مدل همچنان درست حدس می‌زد. نمره بالا یعنی مدام غافلگیر می‌شد.

این ایده از هر آشکارساز هوش مصنوعی موجود در بازار قدیمی‌تر است، و به‌تنهایی هیچ چیز درباره این که چه کسی یک سند را نوشته است نمی‌گوید. وقتی حساب‌وکتاب پشت این عدد آشکار شود، یک نمره در گزارش دیگر شبیه حکم نهایی به نظر نمی‌رسد و بیشتر شبیه چیزی می‌شود که واقعاً هست: توصیفی از انتخاب واژه.

perplexity در تشخیص هوش مصنوعی چیست؟

پریپلکسیته یک سنجه است که از مدل‌سازی زبان وام گرفته شده است. این سنجه نشان می‌دهد که یک مدل تا چه اندازه توانسته واژه‌های مشخصی را که در یک متن آمده‌اند پیش‌بینی کند و آن را به صورت یک عدد واحد گزارش می‌کند. آشکارسازها همین سنجه را بر یک سند ارسالی اعمال می‌کنند: عددی پایین، یعنی حدس‌های مدل با واژه‌های واقعی به‌طور نزدیک منطبق بوده‌اند، به‌عنوان نشانه‌ای از نویسندگی ماشینی خوانده می‌شود، و عددی بالا به‌عنوان نشانه‌ای از نویسندگی انسانی خوانده می‌شود. هیچ چیز در این محاسبه استدلال سند، ارجاعات آن، یا موضوع آن را نمی‌خواند. این محاسبه فقط می‌خواند که هر واژه تا چه اندازه مورد انتظار بوده است، یکی‌یکی.

آشکارسازها این سنجه را اختراع نکرده‌اند. آن‌ها ابزاری را وام گرفته‌اند که سامانه‌های تشخیص گفتار و ترجمه ماشینی دهه‌ها پیش برای سنجش این‌که یک مدل تا چه اندازه زبان عادی را پیش‌بینی کرده است به کار می‌بردند، و آن را به‌عنوان جانشینی برای نویسندگی بازکاربرد کرده‌اند، کاری که در اصل هرگز برای آن ساخته نشده بود.

هیچ‌یک از این‌ها ربطی به موتور جست‌وجوی نامرتبطی که پیش‌تر ذکر شد ندارد. پریپلکسیته‌ای که یک آشکارساز گزارش می‌کند هرگز یک شرکت نیست و هرگز با حرف بزرگ نوشته نمی‌شود: این یک ویژگی آماری ساده از یک دنباله واژه‌ها است که از نو و بر پایه هر متنی که به آن داده شود محاسبه می‌شود.

پریپلکسیته در عمل چگونه محاسبه می‌شود

این محاسبه به زمانی بسیار پیش‌تر از هر محصول AI بازمی‌گردد. Frederick Jelinek، Robert Mercer، Lalit Bahl و James Baker در 1977 پریپلکسیته را معرفی کردند تا دشواری یک تکلیف تشخیص گفتار را برای یک مدل آماری اندازه‌گیری کنند، دهه‌ها پیش از آن‌که کسی این اصطلاح را برای یک مقاله یا یک گزارش آزمایشگاهی به کار ببرد. تعریف آن از آن زمان تاکنون تغییر نکرده است.

در هر موقعیت در یک سند، مدل برای واژه‌ای که واقعاً در ادامه می‌آید یک احتمال خروجی می‌دهد، چیزی مانند 0.72 برای یک گذار رایج یا 0.03 برای یک گذار نامعمول. پریپلکسیته لگاریتم‌های آن احتمال‌ها را در سراسر متن میانگین می‌گیرد، سپس این میانگین را با یک توان معکوس می‌کند.

توان در there's بیش از آنچه به نظر می‌رسد کار انجام می‌دهد. میانگین‌گیری از احتمال‌های لگاریتمی دقیقاً همان کاری است که هنگام محاسبه آنتروپی متقاطع انجام می‌دهیم، و این همان شیوه‌ای در نظریه اطلاعات برای بیان این است که برای رمزگذاری یک دنباله، با توجه به پیش‌بینی‌های یک مدل، به چند بیت نیاز دارید. اما perplexity شمارش بیت‌ها را دوباره به چیزی تبدیل می‌کند که بهتر می‌توانیم بفهمیم: یک تعداد مؤثر از انتخاب‌ها، نه یک شمارش انتزاعی از بیت‌ها.

آنچه از این حساب باقی می‌ماند، خوانشی روشن و تقریباً فیزیکی دارد. مدلی که هر بار کاملاً مطمئن است، perplexity برابر 1 تولید می‌کند، یعنی کف این مقیاس. مدلی که هر موقعیت را یک انتخاب برابر میان هشتاد واژه با احتمال یکسان در نظر می‌گیرد، perplexity برابر 80 خواهد داشت.

بیشتر اسناد واقعی جایی میان این دو حد قرار می‌گیرند، و این که دقیقاً کجا قرار بگیرند به نویسنده، موضوع، و این که کدام مدل در حال خواندن است بستگی دارد.

چرا نوشتار انسانی معمولاً امتیاز متفاوتی می‌گیرد

انتظارات یک مدل کاملاً از آنچه پیش‌تر آمده ساخته می‌شود، واژه به واژه. پس از عبارت 'the treatment group showed a statistically'، اکثریت قاطع ادامه‌های درست و پذیرفتنی 'significant' هستند، و مدلی که بر حجم زیادی از نوشتار علمی آموزش دیده باشد، بدون تردید به آن واژه احتمال بالایی می‌دهد. یک نویسنده انسانی که به همان عبارت می‌رسد، شاید او هم 'significant' را انتخاب کند، زیرا خود این عبارت از عناصر ثابت این ژانر است. شکاف در جای دیگری پدیدار می‌شود, در اسمی که دو جمله بعد انتخاب می‌شود، در توضیحی که داخل پرانتز افزوده می‌شود، در عددی که به جای یک رقم گرد، با اعشار نامعمول گزارش می‌شود.

هیچ‌کدام از این‌ها ترفند نیست. وقتی کسی که درباره داده‌های واقعی می‌نویسد می‌کوشد به عدد دقیق، قید دقیق، یا واژه اندکی محدودتر برسد، در واقع به چیزهایی دست می‌برد که درباره خود کار صادق‌اند، نه درباره ژانر. و هر یک از این انتخاب‌ها برای مدل اندکی شگفتی بیشتر هزینه دارد. شگفتی همان چیزی است که این امتیاز برای جمع کردن آن ساخته شده است.

استنتاج بیش از آنچه اندازه‌گیری بتواند پشتیبانی کند، کار انجام می‌دهد. perplexity پیش‌بینی‌پذیری را به‌طور مستقیم اندازه‌گیری می‌کند. این مفهوم فقط با این فرض، نویسندگی را استنباط می‌کند که نوشتارِ قابل پیش‌بینی در میان انسان‌ها نادر و در میان مدل‌ها رایج است، فرضی که معمولاً معقول است و گاهی به‌شیوه‌ای مشخص و قابل شناسایی نادرست از آب درمی‌آید، زیرا پیش‌بینی‌پذیری ویژگی‌ای است که متن می‌تواند به دلایلی داشته باشد که هیچ ربطی به این ندارد چه کسی آن را تایپ کرده است.

چرا یک متن واحد می‌تواند امتیازهای متفاوتی بگیرد

این امتیاز همچنین از آنچه به نظر می‌رسد کم‌قابل‌انتقال‌تر است، زیرا هرگز در خلأ اندازه‌گیری نمی‌شود. perplexity همیشه در برابر آموزشِ یک مدل مرجعِ مشخص محاسبه می‌شود، و این وابستگی مسائلی ایجاد می‌کند که هیچ تعریف واحدی به‌تنهایی نمی‌تواند نشان دهد.

عامل	چه چیزی تغییر می‌کند	چرا این اتفاق می‌افتد
اینکه کدام مدل در حال خواندن است	یک بند یکسان می‌تواند روی یک مدل امتیاز پایین و روی مدل دیگر امتیاز بالا بگیرد	perplexity فقط و فقط در برابر داده‌های آموزشی یک مدل اندازه‌گیری می‌شود، و مدل‌های مختلف بر متن‌های متفاوتی آموزش دیده‌اند
اینکه آیا متن، متنی است که به‌طور گسترده بازتولید شده است	یک سند تاریخی مشهور یا یک تعریف کتاب درسی می‌تواند حتی وقتی یک انسان هر واژه آن را در آشکارساز تایپ کرده باشد، امتیاز کمِ perplexity بگیرد	Pangram Labs به اعلامیه استقلال به‌عنوان نمونه اشاره می‌کند: این متن آن‌قدر در داده‌های آموزشی نقل شده است که یک مدل هر جمله آن را نامنتظر نمی‌یابد
اینکه آیا آشکارساز اصلاً می‌تواند احتمال‌های توکن را ببیند	مدل‌های تجاری بسته مانند ChatGPT، Gemini و Claude احتمال‌های واژه‌به‌واژه‌ای را که perplexity به آن نیاز دارد، آشکار نمی‌کنند	آشکارسازها امتیاز را با یک مدل متن‌بازِ جانشین تقریب می‌زنند، به‌جای آنکه perplexity را در برابر مدلی محاسبه کنند که واقعاً متن را تولید کرده است

هیچ‌یک از این‌ها عدد را بی‌معنا نمی‌کند، فقط اعتماد کردن به آن را به‌عنوان یک داوری مستقل پرخطرتر می‌کند. مستندات خود GPTZero زمانی یک قاعده سرانگشتی منتشر کرده بود، اینکه perplexity بالاتر از 85 بیشتر به‌عنوان انسانی خوانده می‌شود، اما آستانه یک فروشنده در یک مدل به ابزار دیگری که بر پایه مدل متفاوتی سنجیده شده است منتقل نمی‌شود. آشکارسازی که یک نمره واحد گزارش می‌کند، همه عوامل بالا را در یک رقم فشرده می‌کند، بی‌آنکه بگوید کدام‌یک این کار را انجام داده‌اند.

نمره perplexity در واقع چه چیزی را به شما می‌گوید

آشکارسازهای تجاری perplexity را همراه با الگوهای سطح جمله، آموزش طبقه‌بند و چند سیگنال دیگر در هم می‌آمیزند، پیش از آنکه اصلا یک عدد واحد را در گزارش چاپ کنند. تصویر کامل‌ترِ اینکه آشکارسازهای AI در عمل چگونه کار می‌کنند جداگانه پوشش داده شده است، و توضیح می‌دهد بقیه این عدد از کجا می‌آید.

ریتم جمله به جمله یک سیگنال مرتبط اما جداگانه است، که burstiness checker آن را بر اساس معیارهای خودش بررسی می‌کند، و به میزان تغییرپذیری در سراسر یک متن می‌پردازد، نه به یک واژه منفرد.

هیچ‌یک از این اعداد نمی‌تواند ثابت کند چه کسی یک سند را نوشته است، از جمله Human Score برآوردی که TextPulse از یک پیش‌نویس ارسالی محاسبه می‌کند، و این نمره متن را توصیف می‌کند، نه اینکه درباره آن داوری صادر کند. نسخه ساده‌شده همین ایده، یعنی تنوع واژگانی به‌جای احتمال کامل مدل، نیروی محرک free perplexity checker در این سایت است، و ارزش دارد آن را روی پاراگرافی که منشأ آن از پیش معلوم است امتحان کنید، پیش از آنکه به آنچه یک گزارش درباره متن شخص دیگری می‌گوید اعتماد کنید.

perplexity checker در کنار دیگر free tools TextPulse قرار دارد، بنابراین بررسی کامل یک پیش‌نویس، واژگان، ریتم و همه چیزهای دیگر، نیازی ندارد که هم‌زمان دوازده زبانه جداگانه باز باشد.

پریپلکسی یکی از دو آماری است که این سامانه‌ها بر آن تکیه می‌کنند. دیگری برستینس، یعنی تغییرپذیری در طول و ساختار جمله در سراسر یک متن است، و در پسِ هر دو، محاسبات احتمال توکن قرار دارد که اساساً همان امتیاز را تولید می‌کند.

یک عدد در یک گزارش، پایان یک زنجیره بلند از محاسبات است، نه آغاز یک بحث درباره این که چه کسی چیزی را نوشته است. پرسش جالب‌تر، وقتی محاسبات دیگر رازآلود نیستند، این است که دقیقاً چه چیزی یک سند را در وهله نخست شگفت‌انگیز یا قابل پیش‌بینی کرده است، و این پرسشی درباره خودِ نوشتار است.