آیا آشکارسازهای هوش مصنوعی دقیق هستند؟ مثبت کاذب و سوگیری

Turnitin ادعا می‌کند که نرخ مثبت کاذب آن کمتر از 1% است. گروهی از پژوهشگران مستقل، چندین آشکارساز را روی دامنه گسترده‌تری از نمونه‌های نوشتاریِ گویشوران غیر بومی انگلیسی آزمودند. آنان دریافتند که میانگین نرخ مثبت کاذب در همان نوع نوشتار بیش از 60% بود. هر دو عدد واقعی‌اند، هر دو منتشر شده‌اند، و هر دو به آشکارسازهایی مربوط می‌شوند که به همان بازار فروخته می‌شوند. آیا آشکارسازهای AI دقیق هستند؟ این به این بستگی دارد که چه جمعیتی را آزموده‌اید، از کدام آشکارساز استفاده کرده‌اید، و فروشنده شما آن را در وهله نخست چگونه تعریف کرده است.

این نوشته قرار نیست دوباره توضیح دهد که یک آشکارساز چگونه آن امتیاز را محاسبه می‌کند. سازوکار، perplexity، احتمال توکن، و این که طبقه‌بند چگونه آموزش داده می‌شود، در جای دیگری به تفصیل پوشش داده شده است، و اگر آن را نخوانده‌اید، پیش از ادامه خواندنش ارزش دارد. آنچه در اینجا اهمیت دارد این است که پس از وجود داشتن امتیاز چه رخ می‌دهد: هر چند وقت یک بار نادرست است، درباره نوشتار چه کسانی بیشتر از همه نادرست است، و یک اتهام نادرست در عمل چه هزینه‌ای برای کسی دارد که هیچ کار اشتباهی نکرده است.

آیا آشکارسازهای AI دقیق هستند؟

به طور یکنواخت نه، و فاصله میان ادعاهای بازاریابی و آزمون مستقل به خوبی مستند شده است. گروهی از پژوهشگران به سرپرستی Debora Weber-Wulff یافته‌های خود را درباره 14 ابزار تشخیص، شامل 12 ابزار رایگان و دو ابزار تجاری، که در سال 2023 در برابر ترکیبی از متن انسانی و متن ChatGPT آزموده شدند، منتشر کردند. آنان دریافتند که هیچ یک از این ابزارها دقیق یا قابل اعتماد نیستند، و سوگیری درونی آن‌ها این است که متن ماشینی را انسانی برچسب بزنند، نه برعکس. دو ابزار تجاریِ گنجانده شده در این آزمون Turnitin و PlagiarismCheck بودند. همه ابزارهای این آزمون وقتی متن بازنویسی شده بود، عملکرد ضعیف‌تری داشتند.

اما دو سال بعد، اوضاع راکد نیست. یک مقاله کاری از Booth School دانشگاه Chicago، نوشته Brian Jabarian و Alex Imas، سه تازه‌وارد، Pangram، GPTZero و Originality.ai، و یک رقیب متن‌باز را با نزدیک به 2,000 متن نوشته‌شده توسط انسان از وبلاگ‌ها، خبرها، نقدها و داستان‌های تخیلی آزمود. در شرایط آزمون کنترل‌شده، بهترین ابزار در این مجموعه هرگز به زیر 99.8 درصد دقت نرسید و نرخ مثبت کاذب خود را در سطحی پایین نگه داشت. مدل متن‌باز به اندازه یک حدس‌زن تصادفی عمل کرد. اوضاع واقعاً بهتر شده است. البته تا حدی. کمی.

اما نکته اینجاست که واژه کنترل‌شده. متن‌های معیار پاک، کامل و تولیدشده تحت شرایط شناخته‌شده هستند. یک مقاله ارسالی هیچ‌یک از این‌ها را به‌طور قابل اتکا ندارد. نتایج دنیای واقعی ممکن است با نتایج آزمایشگاهی یکسان نباشند، همان‌طور که مدیر ارشد محصول Turnitin خود به‌صورت عمومی گفته است، هرچند این اعترافی نادر و مفید از سوی یک فروشنده است. بخش بعدی اعداد فروشنده را کنار اعداد مستقل می‌گذارد تا شکاف به‌جای آنکه صرفاً ادعا شود، دیده شود.

ادعاهای فروشنده در برابر آزمون مستقل

جدول زیر آنچه چهار آشکارساز درباره خود ادعا می‌کنند را در برابر آنچه پژوهشگران مستقل هنگام آزمودن مستقیم ابزارها اندازه‌گیری کردند، کنار هم می‌گذارد. دو ستون میانی را با هم بخوانید، نه فقط ستون فروشنده را.

Detector	Vendor-claimed accuracy	Independently observed	What the vendor says about false positives
Turnitin	آستانه اطمینان 98% پیش از علامت‌گذاری، کمتر از 1% مثبت کاذب در سطح سند	حدود 80% دقت، بهترینِ 12 ابزار در یک مقایسه 2023، بر پایه نسخه‌ای قدیمی‌تر از ابزار	کمتر از 1% در سطح سند بالاتر از آستانه 20% نوشته‌شده توسط AI، حدود 4% در سطح جمله
GPTZero	95.7% تشخیص متن AI با نرخ 1% مثبت کاذب در بنچمارک مستقل RAID	96% دقت در گذر‌ه‌های کوتاه، نرخ مثبت کاذب کمتر از 1% در یک مطالعه 2025 دانشگاه Chicago Booth	نرخ 1% مثبت کاذب را در بنچمارک RAID گزارش می‌کند
Originality.ai	99% دقت، نرخ 0.5% مثبت کاذب (مدل Lite)، 1.5% (مدل Turbo)	نرخ مثبت کاذب کمتر از 1%، اما 10% تا 40% از متن نوشته‌شده توسط AI را در همان مطالعه Booth از دست داد	آمار جداگانه مثبت کاذب را بر حسب سطح مدل منتشر می‌کند
Pangram	نرخ‌های خطایی که می‌گوید بیش از 38 برابر کمتر از ابزارهای رقیب است، و می‌گوید هیچ سوگیری‌ای علیه نویسندگان غیربومی انگلیسی ندارد	دقت هرگز پایین‌تر از 99.8% نبود، نرخ مثبت کاذب نزدیک به صفر، در مطالعه Booth	نرخ‌های مثبت کاذب نزدیک به صفر را در 10 حوزه متنی و 8 مدل زبانی بیان می‌کند

دو نکته برجسته است. نخست، همه ارقامِ ارائه‌شده توسط فروشنده از آزمایشگاهی می‌آیند که خودِ فروشنده آن را کنترل می‌کند، و ارقام Booth از پژوهشگرانی است که چیزی برای فروش ندارند. دوم، Turnitin اصلا در آن ستون میانی حضور ندارد، زیرا مطالعه 2025 آن را آزمایش نکرده است. در جدول، رقم مستقل آن بر پایه یک مقایسه 2023 قدیمی‌تر است، اما روی نسخه‌ای قدیمی‌تر از ابزار انجام شده است، بنابراین هنگام نگاه کردن به جدول به‌عنوان یک مقایسه هم‌ارز، این نکته را به خاطر داشته باشید.

دقت تشخیص AI در Turnitin چقدر است؟

Turnitin یک رقم واحد برای دقت منتشر نمی‌کند. در عوض، یک آستانه و یک بده‌بستان منتشر می‌کند. این شرکت گفته است که فقط زمانی یک سند را علامت‌گذاری می‌کند که 98 درصد اطمینان داشته باشد بخش علامت‌گذاری‌شده AI-written است، و این آستانه همان چیزی است که نرخ false positive در سطح سند را زیر 1 percent نگه می‌دارد. Turnitin برآورد کرده است که حدود 85 percent از نوشتارِ کمک‌گرفته از AI را شناسایی می‌کند و بقیه را عمداً عبور می‌دهد، نه این که خطر یک اتهام نادرست را بپذیرد.

درصد واقعی false positive که Turnitin در سطح جمله بازمی‌گرداند، یعنی جایی که یک interface خطوط مشخصی را به جای کل سند برجسته می‌کند، در واقع به 4 percent نزدیک‌تر است. این همان عددی است که دانستن آن ارزش دارد اگر یک استاد فقط از یک بند علامت‌گذاری‌شده اسکرین‌شات بگیرد، نه از امتیاز کل سند، زیرا یک جمله برجسته‌شده احتمال خطای به‌مراتب بیشتری نسبت به امتیاز سندِ کنار آن دارد.

همچنین شایان ذکر است که Turnitin خود این فاصله را به‌طور مستقیم پذیرفته است. آن‌ها دریافتند که نخستین نتایج واقعی‌شان، به‌ویژه برای اسناد کوتاه‌تر، نرخ‌های false positive بالاتری از آنچه بر پایه آزمون‌های آزمایشگاهی انتظار می‌رفت داشت. بنابراین حداقل طول سندی را که برای آن امتیاز داده می‌شود از 150 به 300 words افزایش دادند. این یعنی یک vendor محصول خودش را تنظیم می‌کند، چون عدد منتشرشده بیرون از آزمایشگاه دوام نیاورد، و این به اندازه هر مطالعه مستقل دیگری گویاست.

یک false positive در عمل چه هزینه‌ای برای یک دانشجو دارد

این اتفاق برای یک دانشجوی executive MBA در School of Management ییل رخ داد. دانشجو، به دقیق‌ترین معنای ممکن، به نقض مقررات متهم شد. detector مورد استفاده GPTZero بود. امتحان نهایی دانشجو در یک درس finance توسط یک teaching assistant علامت‌گذاری شده بود، کسی که فکر می‌کرد نوشته طولانی و پرجزئیات است و نشانه‌گذاری و دستور زبان تقریباً بی‌نقصی دارد. و این استاد خاص آن را از طریق GPTZero اجرا می‌کرد، که پاسخ‌ها را به‌احتمال زیاد AI-generated امتیاز داده بود.

او در این درس مردود شد و برای یک سال تعلیق شد. دادخواست او که در فوریه 2025 در دادگاه فدرال ثبت شد، ادعا می‌کند که سیاست خود Yale استفاده از ابزارهایی مانند GPTZero را دقیقاً به همین دلیل، یعنی نرخ مثبت کاذب مستند آن علیه انگلیسی‌زبانان غیربومی، محدود می‌کند، و او از آن برخلاف همان سیاست استفاده کرده است. در دادخواست او همچنین آمده است که GPTZero برای نوشته‌های دانشگاهی رئیس پیشین خود Yale و نیز رئیس دانشکده کسب‌وکار، امتیاز 100 درصد تولیدشده توسط AI را گزارش کرده است.

قاضی در مه 2025 از صدور دستور موقت اولیه خودداری کرد. این پرونده هنوز حل‌وفصل نشده است، دست‌کم تا زمان نگارش این متن. خواهان، که تبعه فرانسه است، ادعا می‌کند همان سوگیری شناخته‌شده علیه انگلیسی‌زبانان غیربومی باعث شد نوشته او به همان شکلی عمل کند که عمل کرد. در بخش بعدی به همین موضوع می‌پردازیم. آنچه محل بحث نیست، هزینه است, یک سال از یک برنامه تحصیلی از دست رفته، نمره مردودی، هزینه‌های حقوقی، و چندین ماه درگیری بر سر یک امتیاز به جای کسب مدرک. نرخ مثبت کاذب 1 درصدی کوچک به نظر می‌رسد تا زمانی که یک جمعیت بزرگ آن را به مسئله‌ای برای یک فرد مشخص تبدیل کند.

کدام ویژگی‌های نوشتار باعث می‌شوند متن انسانی ماشینی به نظر برسد

چهار نوع از نوشتار معمولی بیشترین خطر را دارند، و هیچ‌یک از آنها به این معنا نیست که فرد کار نادرستی انجام داده باشد. اسناد کوتاه، نوشتار بسیار قالبی، مطالب نقل‌شده یا مبتنی بر الگو، و نوشتاری که به‌دقت ویرایش شده است، همگی معمولاً امتیازی می‌گیرند که آنها را از نثر آزادانه‌تر، قابل‌پیش‌بینی‌تر نشان می‌دهد، و همین ویژگی همان چیزی است که هر آشکارساز در واقع اندازه‌گیری می‌کند. یک free burstiness checker همین میزان تغییرپذیری را به‌طور مستقیم اندازه‌گیری می‌کند، و این راهی سریع‌تر برای دیدن الگو نسبت به خواندن توضیح آن است.

برخی ژانرها عمداً به‌صورت فرمولی نوشته می‌شوند. بخش روش‌ها، گزارش آزمایشگاهی، نامه پوششی استاندارد و مرور ادبیات، همگی عبارت متعارف را به‌جای عبارت خلاقانه پاداش می‌دهند، زیرا همین قرارداد است که سند را برای خواننده‌اش قابل استفاده می‌کند. پژوهشگران این موضوع را مستقیماً بر روی نوشتار واقعی آزمودند: آنان 14,400 چکیده مقاله‌های مجله‌ای منتشرشده میان 1980 و 2023، یعنی سال‌ها پیش از آنکه هر مدل زبانی بزرگی وجود داشته باشد، را از یک آشکارساز در دسترس عموم عبور دادند. تا 8 درصد، صرف‌نظر از سال انتشار، به‌عنوان تولیدشده توسط AI علامت‌گذاری شدند، و چکیده‌های New England Journal of Medicine با 10.24 درصد، بالاترین نرخ مثبت کاذب را میان پنج مجله آزموده‌شده داشتند.

این آزمون نمی‌توانست چیزی درباره ChatGPT را تشخیص داده باشد، زیرا ChatGPT در بیشتر سال‌هایی که نمونه‌برداری شده بود وجود نداشت. این آزمون ژانر را تشخیص داد. به‌صورت دقیق‌تر، همان‌گونه که تحلیل آماری 2026 از مسئله تشخیص بیان می‌کند، هیچ راهی برای ساختن آشکارسازی وجود ندارد که میان جمله‌ای که به این دلیل قابل پیش‌بینی است که توسط نرم‌افزار نوشته شده و جمله‌ای که به این دلیل قابل پیش‌بینی است که از همان نوع چیزی است که در آن ژانر می‌نویسید، تمایز بگذارد. این دو از بیرون دقیقاً یکسان به نظر می‌رسند.

ویرایش سنگین نیز در جهتی مشابه عمل می‌کند. پیش‌نویس نخست، بی‌نظمی‌های خاص نویسنده را با خود دارد: ترتیب واژگان نامعمول، جمله‌ای که طولانی می‌شود چون اندیشه نیز چنین بوده است. یک دور بازخوانی دقیق، به‌ویژه اگر با ابزار دیگری انجام شود، معمولاً دقیقاً همان بی‌نظمی‌ها را از میان برمی‌دارد. بزرگ‌ترین مقایسه مستقل ابزارهای تشخیص تا امروز، 14 ابزار را آزمود و دریافت که دقت، برای هر ابزار، پس از آنکه متن نمونه بازنویسی یا به‌صورت ماشینی ترجمه شده بود، بیشتر کاهش یافت.

ویژگی نوشتار	چرا این ویژگی، پیش‌بینی‌ناپذیری ظاهری یک سند را کاهش می‌دهد	شواهد چه نشان می‌دهد
ارسال‌های کوتاه	متن کمتر، فضای کمتری برای تنوع طبیعی باقی می‌گذارد که ریتم انسانی را از ریتم ماشینی جدا می‌کند	امتیازهای اسناد کوتاه، بر اثر چند جمله نامعمول، نوسان بیشتری دارند
نوشتار قالبی یا ویژه یک رشته	هنجارهای ژانر، عبارت مورد انتظار را بر عبارت خلاقانه ترجیح می‌دهند	14,400 چکیده ژورنالی پیش از ChatGPT (1980 تا 2023) همچنان تا 8% مثبت کاذب ایجاد کردند، چکیده‌های یک ژورنال به 10.24% رسید
پیش‌نویس‌های به‌شدت ویرایش‌شده یا بازنویسی‌شده	مرحله صیقل‌دادن، بی‌نظمی‌های فردی را که یک آشکارساز آن‌ها را انسانی می‌خواند، هموار می‌کند	یک مقایسه مستقل با 14 ابزار نشان داد که دقت پس از بازنویسی یا ترجمه ماشینی بیشتر کاهش یافت
مواد نقل‌قول‌شده یا قالبی	بخش نقل‌قول‌شده، امضای آماری منبع خود را حمل می‌کند، نه امضای نویسنده ارجاع‌دهنده را	آشکارسازهایی که نقل‌قول‌ها را مستثنا نمی‌کنند، سند پیرامونی را بر پایه متن وام‌گرفته امتیازدهی می‌کنند

چرا آشکارسازهای AI انگلیسیِ غیربومی‌زبان را به‌اشتباه طبقه‌بندی می‌کنند؟

بد، و با اختلافی زیاد. این نتیجه مطالعه‌ای است که نخستین بار برای آن عددی ارائه کرد. پژوهشگران Stanford هفت آشکارساز پرکاربرد GPT را در برابر 91 انشای TOEFL نوشته‌شده توسط انگلیسی‌زبانان غیربومی و 88 انشا از دانش‌آموزان پایه هشتم در US آزمودند. آشکارسازها انشاهای پایه هشتم را تقریباً همیشه درست خواندند. اما در مورد انشاهای TOEFL، که توسط بزرگسالانی نوشته شده بودند که به اندازه کافی روان بودند تا در آزمون انگلیسی در سطح تحصیلات تکمیلی شرکت کنند، آشکارسازها به‌طور میانگین نرخ مثبت کاذب 61.3 درصد را نشان دادند. 89 مورد از 91 انشا دست‌کم توسط یکی از هفت آشکارساز به‌عنوان تولیدشده توسط GPT علامت‌گذاری شدند، 18 مورد از آن انشاها توسط هر هفت آشکارساز علامت‌گذاری شدند.

سازوکار همان سازوکاری است که بقیه تشخیص را نیز اداره می‌کند, واژگان قابل پیش‌بینی و ساختار جمله ساده‌تر به صورت perplexity پایین خوانده می‌شوند, و perplexity پایین به صورت ساخته‌شده توسط ماشین خوانده می‌شود, صرف‌نظر از این که چه کسی قلم را در دست دارد. نویسندگانی که به زبان دوم کار می‌کنند به عبارت‌بندی‌های جاافتاده تکیه می‌کنند, زیرا این همان چیزی است که روانی در یک زبان اضافی در عمل شبیه آن است, و دقیقاً همین نمایه است که یک آشکارساز برای علامت‌گذاری آن ساخته شده است.

نویسندگانی که در چنین موقعیتی هستند با توصیه به این که فقط طبیعی‌تر بنویسند, به خوبی راهنمایی نمی‌شوند, زیرا طبیعی دقیقاً همان چیزی بود که علامت‌گذاری شد. صفحه TextPulse برای نویسندگان دانشگاهی ESL الگوهای عبارت‌بندی پشت این خطر را با جزئیات بیشتری پوشش می‌دهد, از جمله این که چه چیزی آن‌ها را بدون تغییر معنای جمله تغییر می‌دهد.

این یک مورد منفرد نبود. در دسامبر 2025, یک benchmark جدید منتشر شد که صراحتاً برای ارزیابی سوگیری در این آشکارسازها طراحی شده بود. این benchmark بیش از 200,000 نمونه را در چندین جمعیت‌شناسی و زبان دربر می‌گرفت. با وجود این که دو سال از نخستین مطالعه Stanford گذشته بود و نسخه‌های مدل بسیار متفاوتی از همان آشکارسازها را شامل می‌شد, این benchmark نشان داد که سوگیری به سوی English language learners همچنان وجود دارد.

این در مورد همه فروشندگان صدق نمی‌کند. مستندات فنی خود Pangram بیان می‌کند که طبقه‌بند آن علیه گویشوران غیر بومی English سوگیری ندارد. پژوهشگران Chicago Booth این ادعا را به طور مستقل آزمایش نکردند, اما این نشان می‌دهد که نسل جدیدتر آشکارسازها با در نظر گرفتن این مسئله ساخته می‌شود, نه با نادیده گرفتن آن.

اگر می‌خواهید پیش از آن که هر کس دیگری به نوشته شما امتیاز بدهد ببینید نوشته خودتان در چه وضعی قرار دارد, یک perplexity checker رایگان همان عدد زیربنایی را به شما می‌دهد که یک آشکارساز محاسبه می‌کند, بدون این که ابتدا چیزی را به یک مؤسسه ارسال کنید.

چه کسانی دیگر علامت‌گذاری می‌شوند, و چرا

گویشوران غیربومی انگلیسی بزرگ‌ترین خطر مستندشده را متحمل می‌شوند، اما همان منطق آماری نوشته‌های دیگر را هم در بر می‌گیرد. تیم Weber-Wulff دریافت که هر 14 ابزاری که آزمودند، وقتی آن‌ها را روی متن‌های بازنویسی‌شده اجرا کردند، دقت کمتری داشتند. این وضعیت بخش معناداری از نوشتار دانشگاهی را توصیف می‌کند که پیش از آنکه کسی یک آشکارساز را روی آن اجرا کند، از ویراستار، سردبیر، یا اصلاحات دستی استاد راهنما گذشته است.

هیچ‌یک از این‌ها به این معنا نیست که این عدد بی‌معناست، فقط به این معناست که پیش از آنکه درباره یک شخص مشخص چیزی بگوید، به تأیید نیاز دارد. اگر متنی دارید که یکنواخت به نظر می‌رسد، طول جمله‌ها مشابه است، ریتم در سراسر آن مشابه است، آن متن صرف‌نظر از اینکه چه کسی آن را نوشته یا چرا، امتیاز بیشتری به عنوان متن ماشینی می‌گیرد. این را می‌توان مستقیماً با یک free burstiness checker بررسی کرد، نه اینکه صرفاً حدس زده شود.

گروه دوم، که کمتر درباره آن بحث شده است، با مسئله‌ای مرتبط روبه‌روست. پژوهشگران حدود 60,000 پست Reddit را مقایسه کردند، که به دو بخش تقسیم شده بودند، یکی زیرمجموعه‌ای که احتمال می‌رفت توسط نویسندگان اوتیستیک نوشته شده باشد و دیگری یک نمونه عمومی، و هر دو را از یک آشکارساز مبتنی بر GPT-2 عبور دادند. هر دو گروه در مجموع زیر 2 درصد برچسب‌خورده باقی ماندند، اما زیرمجموعه‌ای که احتمال می‌رفت اوتیستیک باشد با نرخ به‌طور معناداری بالاتری نسبت به نمونه عمومی برچسب خورد. نوشتاری که به سوی عبارت‌پردازی تحت‌اللفظی، تکراری و با الگوی فشرده متمایل است، که ویژگی مستندشده‌ای در برخی سبک‌های ارتباطی اوتیستیک است، دقیقاً همان متن کم‌تنوعی را تولید می‌کند که یک آشکارساز برای شناسایی آن ساخته شده است.

چرا یک امتیاز مطمئن، اتهامی مطمئن نیست

نرخ مثبت کاذب به نظر می‌رسد که به احتمال بی‌گناه بودن یک دانشجو که به عنوان مسئله‌دار برچسب خورده است اشاره دارد. اما نه. این اصطلاح نحوه کار یک آزمون را برای همه کسانی که آن را می‌دهند توصیف می‌کند. و این‌ها پرسش‌های متفاوتی با پاسخ‌های متفاوت هستند، درست مانند هر آزمون غربالگری در پزشکی یا امنیت.

یک تحلیل آماری در مارس 2026 از سوی یک پژوهشگر دانشگاه Griffith، ریاضیات زیربنایی را به‌صورت صریح بیان می‌کند. اگر تشخیص AI را نه بر یک سند منفرد، بلکه بر جمعیتی از نویسندگان دانشجو به‌مثابه یک آزمون در نظر بگیریم، یک مبادله آشکار می‌شود: هرگاه بخشی از آن جمعیت به‌گونه‌ای بنویسد که به‌طور طبیعی با خروجی معمول AI هم‌پوشانی داشته باشد، نزدیک به هنجارهای ژانری باشد، یا نزدیک به دامنه یک زبان‌آموز غیربومی باشد، هر آشکارسازِ دارای توان واقعی برای شناسایی متنِ نوشته‌شده توسط AI ناگزیر در مورد بخشی از همان گروهِ هم‌پوشان دچار خطا خواهد شد. این ادعا درباره این نیست که یک آشکارساز مشخص بد ساخته شده است. این ویژگیِ آزمون یک جمعیت متنوع با یک سند منفرد و بدون هیچ شاهد دیگری است.

نمونه توضیحیِ خودِ مقاله، مقیاس درگیر را نشان می‌دهد. فرض کنید 10 درصد از یک جمعیت دانشجویی به اندازه کافی به خروجی معمول AI نزدیک می‌نویسند، و یک آشکارساز برای شناسایی 80 درصد از متنِ واقعاً نوشته‌شده توسط AI تنظیم شده است. در این صورت، ریاضیات ایجاب می‌کند که نرخ مثبت کاذبِ میانگین در آن جمعیت دست‌کم 7.5 درصد باشد. این یک نقص در مهندسی آشکارساز نیست، بلکه پیامد مستقیمِ میزان هم‌پوشانی آماریِ نوشتار آن گروه با چیزی است که قرار است شناسایی شود.

اگر این برآورد را به یک دانشگاه با 10,000 دانشجو تعمیم دهیم، همین کران پایین به‌تنهایی نشان می‌دهد که حدود 750 هشدار کاذب در سراسر جمعیت رخ می‌دهد، که پیامد ریاضیِ آزمودن یک جمعیت متنوع بر ضد یک سند منفرد و بدون هیچ شاهد دیگری برای سنجش است. نویسنده مقاله صریحاً می‌گوید که این ارقام خاص صرفاً برای توضیح هستند و در یک مؤسسه واقعی اندازه‌گیری نشده‌اند. این مثال شکل مسئله را نشان می‌دهد، نه پیش‌بینی مشخصی برای یک پردیس معین.

سیاستی برای تشخیص AI که از نظر استدلالی قابل دفاع باشد، چه شکلی دارد

Yale پیش‌تر سیاستی داشت که بنا بر گزارش‌ها ابزارهایی مانند GPTZero را محدود می‌کرد، تقریباً به همان دلایلی که این مقاله بیان کرده است، یعنی نرخ مثبت کاذبِ مستند و سوگیری مستند علیه نویسندگان غیربومیِ انگلیسی. بنابراین، این ماجرا چندان داستان یک دانشجوی بداقبال نیست، بلکه بیشتر درباره اجرا نشدنِ یک قاعده موجود است. وقتی یک سیاست واقعاً تفاوت میان یک نمره و یک حکم را اعمال کند، آن‌گاه نمره به‌جای حکم، تنها یکی از ورودی‌ها خواهد بود.

• امتیاز را تنها یکی از ورودی‌ها در نظر بگیرید، نه هرگز تنها مبنای تشخیص تخلف
• نرخ خطای مثبت کاذبِ منتشرشده توسط ابزار را پیش از استفاده علیه دانشجویان، به آنان اطلاع دهید
• احتیاط بیشتری را در مورد تکالیف کوتاه و نوشته‌های انگلیسیِ غیربومی به کار ببرید، که هر دو از نقاط ضعف مستندشده هستند
• مسیر مشخصی برای اعتراض تضمین کنید که مستلزم رد کردن یک آمار نباشد

هیچ‌یک از این‌ها غیرعادی نیست. این رویکرد بیشتر به نحوه‌ای شباهت دارد که هر قطعه منفرد از شواهد جنایی در هر جای دیگر باید با آن برخورد شود: مفید، قابل بررسی، و هرگز به‌تنهایی کافی نیست.

برای یک نویسنده منفرد، همین اصل پیش از آن‌که امتیازی وجود داشته باشد نیز، نه پس از آن، صدق می‌کند. یک عدد واحد، از هر ابزاری که باشد، برآوردی است نه حکم نهایی، و برخورد با آن به‌مثابه قطعیت در هر دو جهت، چه بی‌خطر و چه گرفتار، از این عدد بیش از آنچه بتواند پشتیبانی کند انتظار دارد.

خودِ ابزار AI humanizer tool در TextPulse بر پایه همان منطق، یک Human Score گزارش می‌کند: برآوردی محاسبه‌شده از متن خودِ شما، نه حکم نهایی یک آشکارساز درباره آن، که به‌عنوان نشانه‌ای از این‌که پیش‌نویس در حال حاضر چگونه خوانده می‌شود مفید است، نه وعده‌ای درباره این‌که هر آشکارساز مشخصی چه خواهد گفت.

پرسشِ دقت به پرسش‌های محدودتر تقسیم می‌شود، که هر کدام صفحه‌ای جداگانه دارند. شواهد مشخص درباره Turnitin's false positive rate و درباره ZeroGPT's accuracy جداگانه پوشش داده شده است. اگر امتیازی پیش‌تر علیه شما به کار رفته است، مطالب عملی درباره what to do when you are accused of using AI، درباره شواهدی که می‌توانید گردآوری کنید تا prove you did not use AI، و درباره writing an appeal letter وجود دارد که به امتیاز، بر پایه منطق خودِ آن، پاسخ می‌دهد.

عددی که در هر گزارش آمده است، با بازآموزی مدل‌های فروشندگان و آزمودن مداوم آن‌ها در برابر موارد دشوارتر، همچنان تغییر خواهد کرد. اما آنچه نباید تغییر کند عادتِ زیرِ آن است: یک امتیاز را به‌عنوان یکی از چند سنجش بخوانید، بپرسید بر چه جمعیتی اعتبارسنجی شده است، و بپرسید فروشنده درباره مواردی که هنوز در آن‌ها خطا می‌کند چه چیزی را نمی‌گوید.