آیا آشکارسازهای هوش مصنوعی دقیق هستند؟ مثبتهای کاذب و سوگیری
فروشندگان نرخهای مثبت کاذب زیر 1 درصد منتشر میکنند. پژوهشگران مستقل که همان آشکارسازها را بر نوشتههای انگلیسیِ غیربومی آزمودند، نرخهایی بالاتر از 60 درصد یافتند. اینجا آنچه شواهد نشان میدهند آمده است.
Turnitin ادعا میکند که نرخ مثبت کاذب آن کمتر از 1% است. گروهی از پژوهشگران مستقل، چندین آشکارساز را روی دامنه گستردهتری از نمونههای نوشتاریِ گویشوران غیربومی انگلیسی آزمودند. آنان دریافتند که میانگین نرخ مثبت کاذب در همان نوع نوشتار بیش از 60% بود. هر دو عدد واقعیاند، هر دو منتشر شدهاند، و هر دو به آشکارسازهایی مربوط میشوند که به همان بازار فروخته میشوند. آیا آشکارسازهای هوش مصنوعی دقیق هستند؟ این به این بستگی دارد که چه جمعیتی را آزمودهاید، از کدام آشکارساز استفاده کردهاید، و فروشنده شما از ابتدا آن را چگونه تعریف کرده است.
این نوشته قرار نیست دوباره توضیح دهد که یک آشکارساز آن امتیاز را چگونه محاسبه میکند. سازوکار، perplexity، احتمال توکن، و این که طبقهبند چگونه آموزش داده میشود، در جای دیگری به تفصیل پوشش داده شده است، و اگر آن را نخواندهاید، پیش از ادامه خواندنش ارزش دارد. آنچه در اینجا اهمیت دارد این است که پس از وجود داشتن امتیاز چه رخ میدهد: هر چند وقت یک بار نادرست است، درباره نوشتار چه کسانی بیشتر از همه نادرست است، و یک اتهام نادرست در عمل چه هزینهای برای کسی دارد که هیچ کار نادرستی نکرده است.
آیا آشکارسازهای هوش مصنوعی دقیق هستند؟
به طور یکنواخت نه، و شکاف میان ادعاهای بازاریابی و آزمون مستقل به خوبی مستند شده است. گروهی از پژوهشگران به سرپرستی Debora Weber-Wulff یافتههای خود را درباره 14 ابزار تشخیص, شامل 12 ابزار رایگان و دو ابزار تجاری, منتشر کردند که در سال 2023 در برابر ترکیبی از متن انسانی و متن ChatGPT آزموده شدند. آنان دریافتند که هیچ یک از این ابزارها دقیق یا قابل اعتماد نیستند، و سوگیری درونی دارند که متن ماشینی را به جای انسانی برچسب بزنند، نه برعکس. دو ابزار تجاریِ گنجاندهشده در این آزمون Turnitin و PlagiarismCheck بودند. همه ابزارهای این آزمون وقتی متن بازنویسی شده بود، عملکرد بدتری داشتند.
اما دو سال بعد، اوضاع راکد نیست. یک مقالهٔ کاری از Booth School دانشگاه Chicago، نوشتهٔ Brian Jabarian و Alex Imas، سه تازهوارد، Pangram، GPTZero و Originality.ai، و یک رقیب متنباز را با نزدیک به 2,000 متنِ نوشتهشده توسط انسان از وبلاگها، خبرها، نقدها و داستانهای تخیلی آزمود. در شرایط آزمون کنترلشده، بهترین ابزار در این مجموعه هرگز به زیر 99.8 درصد دقت نرسید و نرخ مثبت کاذب خود را در سطحی پایین نگه داشت. مدل متنباز به اندازهٔ یک حدسزن تصادفی عمل کرد. اوضاع واقعاً بهتر شده است. تا حدی. کمی.
اما نکتهٔ اصلی واژهٔ کنترلشده است. گذرگاههای معیار پاک، کامل و تولیدشده تحت شرایط معلوم هستند. یک مقالهٔ ارسالی هیچیک از اینها را بهطور قابل اتکا ندارد. نتایج دنیای واقعی ممکن است با نتایج آزمایشگاهی یکسان نباشند، همانطور که مدیر ارشد محصول Turnitin خود بهصورت علنی گفته است، هرچند این اعترافی نادر و مفید از سوی یک فروشنده است. بخش بعدی اعداد فروشنده را کنار اعداد مستقل میگذارد تا شکاف بهجای آنکه صرفاً ادعا شود، دیده شود.
ادعاهای فروشنده در برابر آزمون مستقل
جدول زیر آنچه چهار آشکارساز دربارهٔ خود ادعا میکنند را در برابر آنچه پژوهشگران مستقل هنگام آزمون مستقیم ابزارها اندازهگیری کردند، ردیف میکند. دو ستون میانی را با هم بخوانید، نه فقط ستون فروشنده را.
| آشکارساز | دقت ادعاشده توسط فروشنده | مشاهده مستقل | آنچه فروشنده درباره مثبتهای کاذب میگوید |
|---|---|---|---|
| Turnitin | آستانه اطمینان 98% پیش از پرچمگذاری، کمتر از 1% مثبت کاذب در سطح سند | حدود 80% دقت، بهترینِ 12 ابزار در یک مقایسه 2023، بر پایه نسخهای قدیمیتر از ابزار | کمتر از 1% در سطح سند بالاتر از آستانه 20% متن نوشتهشده توسط AI، حدود 4% در سطح جمله |
| GPTZero | 95.7% تشخیص متن AI با نرخ 1% مثبت کاذب در بنچمارک مستقل RAID | 96% دقت در بخشهای کوتاه، نرخ مثبت کاذب کمتر از 1% در یک مطالعه 2025 از University of Chicago Booth | نرخ 1% مثبت کاذب را در بنچمارک RAID گزارش میکند |
| Originality.ai | 99% دقت، نرخ 0.5% مثبت کاذب, (مدل Lite), 1.5% (مدل Turbo) | نرخ مثبت کاذب کمتر از 1%, اما 10% تا 40% از متن نوشتهشده توسط AI را در همان مطالعه Booth از دست داد | آمار جداگانه مثبت کاذب را بر حسب سطح مدل منتشر میکند |
| Pangram | نرخهای خطایی که میگوید بیش از 38 برابر کمتر از ابزارهای رقیب است، و ادعا میکند هیچ سوگیریای علیه نویسندگان غیربومی انگلیسی ندارد | دقت هرگز کمتر از 99.8% نبود، نرخ مثبت کاذب نزدیک به صفر، در مطالعه Booth | نرخهای مثبت کاذب نزدیک به صفر را در 10 حوزه متنی و 8 مدل زبانی بیان میکند |
دو نکته برجسته است. نخست، همه ارقام فروشنده از آزمایشگاهی میآیند که تحت کنترل فروشنده است و ارقام Booth از پژوهشگرانی است که چیزی برای فروش ندارند. دوم، Turnitin اصلا در آن ستون میانی حضور ندارد، زیرا مطالعه 2025 آن را آزمایش نکرده بود. در جدول، رقم مستقل آن بر پایه یک مقایسه 2023 قدیمیتر است، اما روی نسخهای قدیمیتر از ابزار انجام شده است، بنابراین هنگام نگاه کردن به جدول بهعنوان یک مقایسه همسنخ، این نکته را به خاطر داشته باشید.
دقت تشخیص AI در Turnitin چقدر است؟
Turnitin یک عدد واحد برای دقت منتشر نمیکند. در عوض، یک آستانه و یک مبادله را منتشر میکند. این شرکت گفته است که فقط زمانی یک سند را علامتگذاری میکند که با 98 درصد اطمینان باور داشته باشد بخش علامتخورده با AI نوشته شده است، و این آستانه همان چیزی است که نرخ مثبت کاذب در سطح سند را زیر 1 درصد نگه میدارد. Turnitin برآورد کرده است که حدود 85 درصد از نوشتههای کمکگرفته از AI را شناسایی میکند و بقیه را عمداً عبور میدهد تا خطر یک اتهام نادرست را نپذیرد.
درصد واقعی مثبتهای کاذبی که Turnitin در سطح جمله برمیگرداند, یعنی جایی که یک رابط کاربری خطوط مشخصی را به جای یک سند کامل برجسته میکند, در واقع به 4 درصد نزدیکتر است. این همان عددی است که دانستن آن ارزش دارد اگر استادی به جای نمره کل سند، از یک پاراگراف علامتخورده اسکرینشات بگیرد، زیرا یک جمله برجستهشده احتمال خطای بهمراتب بیشتری نسبت به نمره سند در کنار آن دارد.
همچنین شایان ذکر است که Turnitin خود این شکاف را بهطور مستقیم پذیرفته است. آنها دریافتند که نخستین نتایج واقعیشان, بهویژه برای اسناد کوتاهتر, نرخهای بالاتری از مثبتهای کاذب داشتند تا آنچه بر پایه آزمونهای آزمایشگاهی انتظار میرفت. بنابراین حداقل طول سندی را که برای آن نمره داده میشود از 150 به 300 واژه افزایش دادند. این یعنی یک فروشنده محصول خودش را تنظیم میکند چون عددی که منتشر کرده بود بیرون از آزمایشگاه دوام نیاورد، و این به اندازه هر مطالعه مستقلی گویاست.
Humanize your own paper
Transform your AI-assisted text and make it sound human, without touching important words or citations.
یک مثبت کاذب در عمل چه هزینهای برای یک دانشجو دارد
این اتفاق برای یک دانشجوی MBA اجرایی در School of Management ییل رخ داد. دانشجو، به دقیقترین معنای ممکن، به نقض مقررات متهم شد. آشکارساز مورد استفاده GPTZero بود. امتحان نهایی دانشجو در یک درس مالی توسط یک دستیار آموزشی علامتگذاری شده بود، چون او فکر میکرد نوشته طولانی و پرجزئیات است و نشانهگذاری و دستور زبان تقریباً بینقصی دارد. و این استاد مشخص آن را از طریق GPTZero اجرا میکرد، که پاسخها را بهعنوان احتمالاً تولیدشده توسط AI امتیاز داده بود.
او در این درس مردود شد و برای یک سال تعلیق شد. دادخواست او که در فوریه 2025 در دادگاه فدرال ثبت شد، ادعا میکند که سیاست خود Yale به همین دلیل استفاده از ابزارهایی مانند GPTZero را محدود میکند، یعنی نرخ مثبت کاذب مستند آن علیه انگلیسیزبانان غیر بومی، و این که او برخلاف آن سیاست از آن استفاده کرده است. در دادخواست او همچنین آمده است که GPTZero برای نوشتههای دانشگاهی رئیس پیشین دانشگاه Yale و نیز رئیس دانشکده کسب و کار آن، امتیاز 100 درصد تولیدشده توسط AI را برگرداند.
قاضی در May 2025 از صدور دستور موقت اولیه خودداری کرد. این پرونده هنوز حل نشده است, همانطور که من در حال نوشتن این متن هستم. خواهان، یک تبعه فرانسوی، ادعا میکند که همان سوگیری شناختهشده علیه انگلیسیزبانان غیر بومی باعث شد نوشته او به همان شکلی عمل کند که عمل کرد. این همان چیزی است که در بخش بعدی به آن میپردازیم. آنچه محل بحث نیست، هزینه است: یک سال از دسترفته از یک برنامه تحصیلی، نمره مردودی، هزینههای حقوقی، و چندین ماه درگیری بر سر یک نمره به جای کسب مدرک. نرخ 1 درصدی مثبت کاذب تا زمانی که یک جمعیت بزرگ آن را به چیزی مشخص و فردی تبدیل نکند، ناچیز به نظر میرسد.
چرا آشکارسازهای AI دانشجویان انگلیسیزبان غیر بومی را بهاشتباه طبقهبندی میکنند؟
بهطور بد، و با اختلافی بسیار زیاد. این نتیجه پژوهشی است که نخستین بار برای آن عددی تعیین کرد. پژوهشگران Stanford هفت آشکارساز GPT پرکاربرد را در برابر 91 انشای TOEFL نوشتهشده توسط انگلیسیزبانان غیر بومی و 88 انشا از دانشآموزان پایه هشتم در US آزمایش کردند. آشکارسازها انشاهای پایه هشتم را تقریباً هر بار درست خواندند. اما در مورد انشاهای TOEFL، که توسط بزرگسالانی نوشته شده بودند که به اندازه کافی روان بودند تا در آزمون انگلیسی در سطح تحصیلات تکمیلی شرکت کنند، میانگین نرخ مثبت کاذب آشکارسازها 61.3 درصد بود. 89 مورد از 91 انشا دستکم توسط یکی از هفت آشکارساز بهعنوان تولیدشده توسط GPT علامتگذاری شدند، و 18 مورد از آن انشاها توسط هر هفت آشکارساز علامتگذاری شدند.
سازوکار همان سازوکاری است که بقیه تشخیص را هم اداره میکند: واژگان قابل پیشبینی و ساختار جمله سادهتر به صورت perplexity پایین خوانده میشوند، و perplexity پایین به صورت متن ماشینی خوانده میشود، فارغ از این که چه کسی قلم را در دست دارد. نویسندگانی که به زبان دوم مینویسند، به عبارتبندیهای جاافتاده تکیه میکنند، زیرا این همان چیزی است که روانی در یک زبان اضافی در عمل شبیه آن است، و دقیقاً همین همان نمایهای است که یک آشکارساز برای علامتگذاری آن ساخته شده است.
نویسندگان در چنین موقعیتی با توصیه به این که صرفاً طبیعیتر بنویسند، به خوبی راهنمایی نمیشوند، زیرا طبیعی دقیقاً همان چیزی بود که علامتگذاری شد. صفحه TextPulse برای نویسندگان دانشگاهی ESL الگوهای عبارتبندی پشت این خطر را با جزئیات بیشتری پوشش میدهد، از جمله این که چه چیزهایی آن را تغییر میدهد بدون آن که معنای جمله را تغییر دهد.
این یک مورد منفرد نبود. در دسامبر 2025، یک معیار سنجش جدید منتشر شد که صراحتاً برای ارزیابی سوگیری در این آشکارسازها طراحی شده بود. این معیار بیش از 200,000 نمونه را در چندین گروه جمعیتی و زبان دربر میگرفت. با وجود این که دو سال از نخستین مطالعه Stanford گذشته بود و نسخههای مدل بسیار متفاوتی از همان آشکارسازها را شامل میشد، این معیار سنجش نشان داد که سوگیری به زیان زبانآموزان انگلیسی همچنان وجود دارد.
این در مورد همه فروشندگان صدق نمیکند. مستندات فنی خود Pangram بیان میکند که طبقهبند آن علیه انگلیسیزبانان غیربومی سوگیری ندارد. پژوهشگران Chicago Booth این ادعا را به طور مستقل آزمون نکردند، اما این نشان میدهد که نسل جدیدتر آشکارسازها با در نظر گرفتن این مسئله ساخته میشود، نه با نادیده گرفتن آن.
اگر میخواهید پیش از آن که هر کس دیگری به نوشته شما امتیاز بدهد ببینید نوشته خودتان در کجا قرار میگیرد، یک perplexity checker رایگان همان عدد زیربنایی را به شما میدهد که یک آشکارساز محاسبه میکند، بدون آن که ابتدا چیزی را به یک مؤسسه ارسال کنید.
چه کسانی دیگر علامتگذاری میشوند، و چرا
گویشوران غیربومی انگلیسی بزرگترین خطر مستندشده را متحمل میشوند، اما همان منطق آماری نوشتارهای دیگر را هم در بر میگیرد. تیم Weber-Wulff دریافت که هر 14 ابزاری که آزمودند، وقتی آنها را بر متنهای بازنویسیشده اجرا کردند، دقت کمتری داشتند، این امر بخش معناداری از نوشتار دانشگاهی را توصیف میکند که پیش از آنکه کسی یک آشکارساز را روی آن اجرا کند، از دست یک ویراستار، یک سردبیر، یا خط قرمز استاد راهنما گذشته است.
هیچیک از اینها به این معنا نیست که این عدد بیمعناست، فقط به این معناست که پیش از آنکه درباره یک شخص مشخص چیزی بگوید، به تأیید متقابل نیاز دارد. اگر متنی دارید که یکنواخت به نظر میرسد، طول جملهها مشابه است، و ریتم در سراسر آن مشابه است، آن متن صرفنظر از اینکه چه کسی آن را نوشته یا چرا، امتیاز بیشتری شبیه متن ماشینی خواهد گرفت. این را میتوان مستقیماً با یک free burstiness checker بررسی کرد، نه اینکه حدس زده شود.
یک سیاست قابل دفاع برای تشخیص AI چه شکلی دارد
Yale از پیش سیاستی داشت که بنا بر گزارشها ابزارهایی مانند GPTZero را محدود میکند، تقریباً به همان دلایلی که این مقاله بیان کرده است، یعنی نرخ مثبت کاذب مستند و سوگیری مستند علیه نویسندگان غیربومی انگلیسی. بنابراین، این ماجرا چندان داستان یک دانشجوی بدشانس نیست، بلکه داستان اجرا نشدن یک قاعده موجود است. وقتی یک سیاست واقعاً تفاوت میان یک امتیاز و یک حکم را اعمال کند، آنگاه امتیاز به جای حکم، تنها یکی از دادههای ورودی میشود.
- امتیاز را یکی از دادههای ورودی بدانید، هرگز تنها مبنای تشخیص تخلف قرار ندهید
- نرخ مثبت کاذب منتشرشده توسط ابزار را پیش از استفاده علیه دانشجویان، به آنان اعلام کنید
- در مورد تکالیف کوتاه و نوشتار غیربومی انگلیسی، که هر دو نقاط ضعف مستندشدهاند، احتیاط بیشتری اعمال کنید
- مسیر اعتراضی را تضمین کنید که مستلزم رد کردن یک آمار نباشد
هیچیک از اینها عجیب و غریب نیست. این به نحوه برخورد با هر قطعه منفرد از شواهد جرمشناختی در هر جای دیگر نزدیکتر است, مفید، قابل بررسی، و هرگز بهتنهایی کافی نیست.
برای یک نویسنده منفرد، همین اصل پیش از آنکه امتیازی وجود داشته باشد، نه پس از آن، صدق میکند. یک عدد واحد، از هر ابزاری که باشد، برآورد است نه حکم، و برخورد با آن بهمثابه قطعیت در هر دو جهت، چه بیخطر و چه گیر افتاده، از این عدد بیش از آنچه بتواند پشتیبانی کند انتظار دارد.
ابزار AI humanizer خود TextPulse همان منطق را برای گزارش Human Score به کار میگیرد: برآوردی که از متن خود شما محاسبه میشود، نه حکم یک آشکارساز درباره آن، و به عنوان نشانهای از این که یک پیشنویس در حال حاضر چگونه خوانده میشود مفید است، نه وعدهای درباره این که هر آشکارساز مشخصی چه خواهد گفت.
پرسش دقت به پرسشهای محدودتری تقسیم میشود که هر کدام صفحهای جداگانه دارند. نرخ برچسبگذاری نادرست نوشته انسانی توسط آشکارسازها جداگانه بررسی شده است، همانطور که شواهد مشخص درباره نرخ مثبت کاذب Turnitin و درباره دقت ZeroGPT نیز جداگانه آمده است. اگر یک امتیاز از پیش علیه شما به کار رفته باشد، مطالب عملی درباره این که وقتی به استفاده از AI متهم میشوید چه باید کرد، درباره شواهدی که میتوانید گردآوری کنید تا ثابت کنید از AI استفاده نکردهاید، و درباره نوشتن نامه اعتراض که به خودِ امتیاز در چارچوب همان منطق پاسخ میدهد، وجود دارد.
عددی که در هر گزارش میآید با بازآموزی مدلها توسط فروشندگان و ادامه آزمون آنها در برابر موارد دشوارتر، همچنان تغییر خواهد کرد. اما چیزی که نباید تغییر کند عادت زیربنایی آن است: یک امتیاز را به عنوان یکی از چند سنجش بخوانید، بپرسید بر چه جمعیتی اعتبارسنجی شده است، و بپرسید فروشنده درباره مواردی که هنوز در آنها خطا میکند چه چیزی را نمیگوید.
Frequently Asked Questions
بله. Weber-Wulff و همکاران در یک مقایسه در 2023 دریافتند که ابزارهای تشخیص هوش مصنوعی «نه دقیقاند و نه قابل اعتماد»، و نویسندگان غیربومی انگلیسی بالاترین خطر مستند را دارند، به طوری که یک مطالعه میانگین نرخ مثبت کاذب بالاتر از 60 درصد را در انشاهای TOEFL یافت. یک امتیاز واحد به خودی خود هیچ چیز را ثابت نمیکند، و به همین دلیل هرگز نباید تنها شواهد پشت یک اتهام باشد.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.