بررسی‌کننده رایگان Perplexity اندازه‌گیری پیش‌بینی‌پذیری در سطح واژه

مدل‌سازی زبان، وظیفه اصلی perplexity را به آن داد: سنجش این‌که یک مدل تا چه اندازه توکن بعدیِ یک دنباله را که هنوز ندیده است پیش‌بینی می‌کند. مدلی که پیوسته درست حدس می‌زند، چون متن پیشِ رو از عبارت‌پردازی آشنا و جاافتاده استفاده می‌کند، عددی پایین تولید می‌کند. مدلی که حدس برترش پیوسته خطا می‌رود، چون نویسنده واژه‌های مشخص‌تر و کم‌کاربردتر را برمی‌گزیند، عددی بالاتر تولید می‌کند. این اصطلاح پس از آن‌که خوانندگان به یک هم‌بستگی تقریبی توجه کردند، از مهندسی به بیرون منتقل شد: متنی که برای ماشین قابل پیش‌بینی به نظر می‌رسد، اغلب برای انسانی که صفحات را ورق می‌زند نیز قابل پیش‌بینی به نظر می‌رسد، به همان دلیل زیربنایی.

یک صفحه وب نمی‌تواند یک مدل زبانی واقعی را اجرا کند، بنابراین این بررسی‌کننده تنها مؤلفه در دسترسِ perplexity را بدون آن می‌سنجد: این‌که واژگان شما تا چه اندازه تکرار می‌شوند. سنجش پایه، نسبت نوع به نشانه، واژه‌های متمایز را در برابر کل واژه‌ها می‌شمارد و یک نقص شناخته‌شده دارد: این نسبت به‌طور خودکار با طولانی‌تر شدن متن کاهش می‌یابد، زیرا واژه‌های دستوری ناگزیر باید تکرار شوند، هرچند نویسنده در سایر جنبه‌ها تنوع ایجاد کند. MATTR این مشکل را با لغزاندن یک چارچوب ثابت پنجاه‌واژه‌ای بر متن و میانگین‌گیری از نسبت در هر موقعیت اصلاح می‌کند، و به این ترتیب یک چکیده کوتاه و یک فصل کامل را در شرایطی قابل مقایسه قرار می‌دهد. نتیجه پایین تقریباً همیشه به همان علت برمی‌گردد: تعداد کمی واژه که بیشتر بار متن را بر دوش می‌کشند.

هر تکراری نقصی نیست که ارزش اصلاح داشته باشد. پژوهشی که یک سازه را یک‌بار نام می‌برد باید در ادامه دست‌نوشته آن را دقیقاً با همان نام تکرار کند، و داوری که ببیند نام میان مترادف‌ها جابه‌جا می‌شود، آن را بیشتر یک مشکل تعریفی می‌خواند تا انتخابی سبکی. تکراری که ارزش حذف دارد پیرامون همان اصطلاحات ثابت قرار می‌گیرد، نه درون آن‌ها: فعل‌ها، پیوندها، و عبارت‌های توصیفی که کارِ پیرامونی را انجام می‌دهند. جایگزین کردن یک فعل فرسوده با فعلی دقیق‌تر، امتیاز را به‌عنوان پیامد جانبیِ این‌که جمله واقعاً چیز بیشتری می‌گوید بالا می‌برد، و این همان ترتیبی است که این دو باید در آن رخ دهند.

انتخاب واژه تنها یکی از محورهای نثرِ طبیعی‌خوان است. ریتم در سطح جمله جداگانه با burstiness checker سنجیده می‌شود؛ واژگان مشخصی که نگارش AI بیش از حد به کار می‌برد، در AI word cleaner بررسی جداگانه دارند. وقتی عبارت‌بندیِ قابل پیش‌بینی به‌جای سنجش، نیازمند بازنویسی است، این کار بر عهده TextPulse humanizer است.