بررسی‌کننده رایگان Perplexity اندازه‌گیری پیش‌بینی‌پذیری در سطح واژه

اینکه یک مدل زبانی تا چه اندازه از هر کلمه بعدی در یک جمله شگفت زده می شود. مدل قبل از اینکه ادامه متن را بخواند، به هر کلمه کاندید احتمال می دهد، و پریپلکسییتی خلاصه می کند که حدس برتر معمولاً چقدر از کلمه ای که واقعاً ظاهر می شود فاصله دارد. عبارت بندی آشنا باعث می شود حدس های مدل نزدیک بماند، بنابراین امتیاز پایین می آید. انتخاب های واژه ای مشخص و کمتر رایج باعث می شود مدل بیشتر غافلگیر شود، بنابراین امتیاز بالا می رود. این یک سنجش در سطح کلمه است، دو قطعه می توانند ساختار جمله یکسانی داشته باشند و با این حال وقتی ببینید کدام کلمات آن را پر می کنند، امتیازهای متفاوتی بگیرند.

خیر، و صفحه به صورت روشن این را می گوید. پریپلکسییتی واقعی نیاز دارد که یک مدل زبانی واقعی روی متن شما اجرا شود و پیش بینی های کلمه بعدی آن امتیازدهی شود، کاری که یک صفحه مرورگر نمی تواند دقیق انجام دهد. چیزی که می توان مستقیماً اندازه گرفت، ماده ای است که نویسنده واقعاً کنترل می کند، یعنی دامنه واژگان. این همان چیزی است که اینجا گزارش می شود، یک امتیاز MATTR مقاوم به طول، نسبت نوع به نشانه شما، و کلماتی که پیش نویس شما بیشتر تکرار می کند، و به صورت یک برآورد گزارش می شود، نه یک ادعا.

نسبت نوع به نشانه، تعداد کلمات متمایز در یک قطعه، نوع ها، را بر تعداد کل کلمات، نشانه ها، تقسیم می کند. یک پاراگراف 100 کلمه ای که از 70 کلمه متمایز ساخته شده باشد امتیاز 0.70 می گیرد. این عدد به طور خودکار با طولانی تر شدن یک قطعه کاهش می یابد، چون مقاله ها، ضمیرها و رابط ها باید صرف نظر از اینکه بقیه واژگان چقدر متنوع باشد تکرار شوند. بنابراین TTR خام برای مقایسه یک پاراگراف با یک فصل کامل قابل استفاده نیست، و به همین دلیل امتیاز تیتر این صفحه MATTR است، نه TTR خام.

خیر. این بررسی‌کننده فقط آمار واژگانی را گزارش می‌کند، یک امتیاز MATTR، یک نسبت نوع به نشانه، و فهرست واژه‌های تکرارشونده. درباره نویسندگی داوری نمی‌کند. بیان تکراری در پیش‌نویس‌های ویرایش‌نشده AI اغلب دیده می‌شود، و به همین دلیل این بررسی مفید است، اما بسیاری از نویسندگان انسانی نیز خود را تکرار می‌کنند، و یک واژگان متنوع هم برای یک مدل و هم برای یک انسان دست‌یافتنی است. این اعداد متن را توصیف می‌کنند؛ هیچ ادعایی درباره این‌که چه کسی یا چه چیزی آن را تولید کرده است ندارند.

خیر. امتیاز تابع کلمات روی صفحه است، و هر بار به همان شکل محاسبه می شود، صرف نظر از اینکه چند بار آن را اجرا کنید. چیزی که عدد را جابه جا می کند، ویرایش خودِ واژگان است: یک فعل تکراری را با یک فعل دقیق تر عوض کنید، امتیاز تغییر می کند چون متن تغییر کرده است، و هیچ دلیل دیگری ندارد.

جمله را پیرامون یک اصطلاح تغییر دهید، هرگز خودِ اصطلاح را. نثر آکادمیک به یک مفهومِ تعریف شده وابسته است، به طوری که هر بار یک نام دقیق را حفظ می کند؛ جایگزین کردن آن با یک مترادف در چهارمین بار تکرار برای داور به منزله عدم دقت به نظر می رسد، نه به عنوان سبک. تنوعِ سازنده در فعل ها، رابط ها و توصیف هایی است که پیرامون آن اصطلاحات ثابت قرار می گیرند. پاراگرافی که «نتایج نشان می دهد» را سه بار تکرار می کند، یک راه حل واقعی دارد: نتایج می توانند تأیید کنند، محدود کنند، نقض کنند یا پیچیده کنند، و هر یک از این فعل ها چیزی دقیق تر از «نشان می دهد» می گوید.