خطای مثبت کاذب در AI Detector: چرا نوشته انسانی علامتگذاری میشود
فروشندگان نرخهای خطای مثبت کاذب را نزدیک 1 درصد منتشر میکنند. آزمونهای مستقلِ همان ابزارها، روی نوشتههای متفاوت، بهطور منظم چیز دیگری پیدا میکنند. اینجا میخوانید چه چیزی واقعاً یک پرچم کاذب را فعال میکند، و عدد پس از آن چه معنایی دارد و چه معنایی ندارد.
در 1982، مجله New England Journal of Medicine مقالهای درباره سیتومگالوویروس در بیماران پیوند مغز استخوان منتشر کرد. این مقاله از داوری همتا گذشت و چهار دهه در آرشیو ماند. در 2023، پژوهشگران آن را از یک آشکارساز نوشتار AI عبور دادند که OpenAI به صورت عمومی منتشر کرده بود، و ابزار آن را 99.96 درصد محتمل برای تولیدشده توسط AI ارزیابی کرد، سی و هفت سال پیش از آنکه مدلی که ظاهراً متن به دست آن نوشته شده بود اصلاً وجود داشته باشد. این، در خالصترین شکل خود، یک مثبت کاذب آشکارساز AI است, سندی که به عنوان نوشتهشده توسط ماشین علامتگذاری میشود، در حالی که اساساً نمیتواند نوشتهشده توسط ماشین باشد.
این نمونه فقط از نظر زمانبندی افراطی است. الگوی زیربنایی، یعنی این که یک آشکارساز نثر فرمولوار و پیشبینیپذیر را، صرفنظر از این که چه کسی و چه زمانی آن را نوشته است، ساختهشده توسط ماشین بخواند، به طور مداوم در ارسالهای معمولی دیده میشود: مقالهها، نامههای پوششی، گزارشهای آزمایشگاهی، بیانیههای شخصی. این نوشته توضیح میدهد چه چیزی باعث یک مثبت کاذب میشود، کدام نوعهای نوشتار بیشتر در معرض آن هستند، و چرا یک امتیاز علامتخورده به تنهایی آن مدرکی نیست که به نظر میرسد.
مثبت کاذب آشکارساز AI چیست؟
مثبت کاذب آشکارساز AI متنی است که انسان نوشته، اما ابزار تشخیص آن را به عنوان تولیدشده توسط AI امتیاز میدهد. در اینجا هیچ چیز درباره فرایند نویسنده، صداقت او، یا مهارت او سنجیده نمیشود. ابزار، شکل آماری جمله، یعنی میزان پیشبینیپذیری انتخاب واژهها و ساختار را، با شکلی که آموخته است با خروجی ماشین مرتبط بداند، مقایسه میکند.
فروشندگان، نرخ مثبت کاذب را به صورت یک درصد کوچک واحد گزارش میکنند، معمولاً کمتر از یک یا دو درصد. این رقم یک آزمون کنترلشده روی یک معیار سنجش را که فروشنده ساخته است توصیف میکند، نه تضمینی درباره هر سند منفرد. پرسش گستردهترِ این که آیا آشکارسازهای AI اصلاً دقیق هستند یا نه پیشتر به طور مستقل آزموده شده است، و نتایج در جایی کاملاً دیگر قرار میگیرند، گاهی بسیار بالاتر از هر عددی که فروشنده اعلام میکند. این نوشته محدودتر میماند: کدام نوعهای نوشتار این خطر را افزایش میدهند، و یک امتیاز علامتخورده چه چیزی را میتواند و چه چیزی را نمیتواند به کسی بگوید.
کدام ویژگیهای نوشتار باعث میشوند متن انسانی شبیه نوشتهشده توسط ماشین به نظر برسد؟
چهار نوع از نوشتار معمولی بیشترین خطر را دارند، و هیچیک از آنها به این معنا نیست که فردی کار نادرستی انجام داده باشد. اسناد کوتاه، نوشتار بهشدت فرمولمند، مواد نقلقولشده یا مبتنی بر الگو، و نوشتاری که بهدقت ویرایش شده است، همگی معمولاً نمرهای بهعنوان پیشبینیپذیرتر از نثر آزادانهپرداختهشده میگیرند، و این همان ویژگیای است که هر آشکارساز در واقع آن را اندازهگیری میکند. یک free burstiness checker همین میزان تغییرپذیری را بهطور مستقیم اندازهگیری میکند، که راهی سریعتر برای دیدن الگو نسبت به خواندن توصیف آن است.
برخی گونهها از پیش بهصورت فرمولمند طراحی شدهاند. بخش روشها، گزارش آزمایشگاهی، نامه پوششی استاندارد و مرور ادبیات، همگی عبارت متعارف را بر عبارت خلاقانه ترجیح میدهند، زیرا همین قرارداد است که سند را برای خوانندهاش قابل استفاده میکند. پژوهشگران این موضوع را مستقیماً بر نوشتار واقعی آزمودند: آنها 14,400 چکیده مجلهای منتشرشده میان 1980 و 2023، یعنی سالها پیش از آنکه هرگونه large language model وجود داشته باشد، را از یک آشکارساز در دسترس عموم عبور دادند. تا 8 درصد بهعنوان تولیدشده توسط AI علامتگذاری شدند، صرفنظر از سال انتشار، و چکیدههای New England Journal of Medicine با 10.24 درصد علامتگذاری شدند، که بالاترین نرخ مثبت کاذب میان پنج مجله آزمودهشده بود.
این آزمون نمیتوانست چیزی درباره ChatGPT را تشخیص داده باشد، زیرا ChatGPT در بیشتر سالهایی که نمونهبرداری شده بود وجود نداشت. این آزمون گونه را تشخیص داد. بهصورت رسمیتر، همانگونه که تحلیل آماری 2026 از مسئله تشخیص بیان میکند، هیچ راهی برای ساختن آشکارسازی وجود ندارد که میان جملهای که به این دلیل پیشبینیپذیر است که توسط نرمافزار نوشته شده و جملهای که به این دلیل پیشبینیپذیر است که از آن نوع چیزی است که در آن گونه مینویسید، تمایز بگذارد. این دو از بیرون دقیقاً یکسان به نظر میرسند.
ویرایش سنگین نیز در جهتی مشابه عمل میکند. پیشنویس نخست، بینظمیهای خاص نویسنده را در خود دارد: ترتیب غیرمعمول واژهها، جملهای که طولانی میشود چون خودِ اندیشه چنین بوده است. یک مرحله بازخوانی دقیق، بهویژه اگر با ابزار دیگری انجام شود، معمولاً همین بینظمیها را هموار میکند. بزرگترین مقایسه مستقل ابزارهای تشخیص تا امروز، 14 ابزار را آزمود و نشان داد که دقت، برای هر ابزار، پس از آنکه متن نمونه بازنویسی یا بهصورت ماشینی ترجمه شد، بیشتر کاهش یافت.
| ویژگی نوشتار | چرا این ویژگی پیشبینیناپذیری ظاهری یک سند را کاهش میدهد | شواهد چه نشان میدهند |
|---|---|---|
| ارسالهای کوتاه | متن کمتر، فضای کمتری برای تنوع طبیعی باقی میگذارد، تنوعی که ریتم انسانی را از ریتم ماشینی جدا میکند | امتیازهای اسناد کوتاه بیشتر تحت تأثیر چند جمله غیرمعمول نوسان میکنند |
| نوشتار قالبی یا ویژه یک رشته | عرف ژانر، عبارت مورد انتظار را بر عبارت خلاقانه ترجیح میدهد | 14,400 چکیده مجله پیش از ChatGPT (1980 تا 2023) همچنان تا 8% مثبت کاذب ایجاد کردند، چکیدههای یک مجله به 10.24% رسیدند |
| پیشنویسهای بهشدت ویرایششده یا بازنویسیشده | مرحله صیقل دادن، بینظمیهای فردی را که یک آشکارساز آنها را انسانی میخواند، هموار میکند | یک مقایسه مستقل 14 ابزاری نشان داد که دقت پس از بازنویسی یا ترجمه ماشینی بیشتر کاهش یافت |
| مواد نقلقولشده یا قالبی | بخش نقلقولشده، امضای آماری منبع خود را حمل میکند، نه امضای آماری نویسنده ارجاعدهنده را | آشکارسازهایی که نقلقولها را مستثنا نمیکنند، سند پیرامونی را بر پایه متن وامگرفته امتیاز میدهند |
مقاله خود را انسانیسازی کنید
متنِ کمکگرفته از AI خود را دگرگون کنید و کاری کنید طبیعی به نظر برسد، بدون دست زدن به واژههای مهم یا ارجاعها.
چرا نرخهای منتشرشده و نرخهای دنیای واقعی با هم منطبق نیستند
هر آشکارساز اصلی، نرخ مثبت کاذب را نزدیک به یک درصد یا کمتر منتشر میکند. آزمونهای مستقل همان ابزارها، که بر روی اسناد متفاوت و در شرایط متفاوت انجام میشوند، بهطور معمول عددی بسیار بالاتر گزارش میکنند، گاهی تا ده برابر یا بیشتر. هر دو رقم میتوانند درست باشند و با این حال تقریباً هیچ چیز مشترکی را توصیف نکنند، زیرا یک چیز را اندازهگیری نمیکنند.
Turnitin یک نمونه مفید است، دقیقاً به این دلیل که جزئیات بیشتری از بیشتر رقبا منتشر میکند: نرخ مثبت کاذب کمتر از 1 درصد در سطح سند، به شرطی که بیش از 20 درصد از یک ارسال به عنوان نوشتهشده توسط AI علامتگذاری شود، همراه با بیانیه شرکت که نتایج دنیای واقعی با آزمون آزمایشگاهی خود آن متفاوت است. Washington Post در سال 2023، 16 سند واقعی را از همان ابزار عبور داد و دریافت که بیش از نیمی از آنها دستکم تا حدی بهاشتباه شناسایی شدهاند، از جمله یک مقاله کاملاً نوشتهشده توسط انسان که بهطور جزئی بهعنوان تولیدشده توسط AI علامتگذاری شد. هیچیک از این دو عدد ساختگی نیست. آنها از نمونههای متفاوت، آستانههای متفاوت، و تعریفهای متفاوتی از اینکه چه چیزی بهعنوان یک علامت محسوب میشود، به دست آمدهاند.
همین شکاف در سراسر صنعت دیده میشود، نه فقط در یک شرکت. آن مقایسه 14 ابزار نشان داد که همه آنها در مجموع به دقت 80 درصد نرسیدند، و 6 مورد از 14 مورد، پیش از آنکه هرگونه بازنویسی وارد ماجرا شود، روی نوشتار انسانیِ بدون تغییر یک مثبت کاذب تولید کردند. یک عدد منتشرشده، یک معیار سنجش را توصیف میکند. سندی را که اکنون جلوی یک استاد قرار دارد توصیف نمیکند.
چرا یک امتیاز مطمئن، اتهامی مطمئن نیست
نرخ مثبت کاذب چنین به نظر میرسد که به احتمال بیگناه بودن یک دانشجو که بهاشتباه بهعنوان مسئلهدار علامتگذاری شده، اشاره دارد. اما نه. این اصطلاح، نحوه کار یک آزمون را برای همه کسانی که آن را میگذرانند توصیف میکند. و اینها پرسشهای متفاوتی با پاسخهای متفاوت هستند، درست مانند هر آزمون غربالگری در پزشکی یا امنیت.
یک تحلیل آماری در مارس 2026 از سوی یک پژوهشگر دانشگاه Griffith، ریاضیات زیربنایی را بهصورت صریح بیان میکند. اگر تشخیص AI را بهعنوان آزمونی در نظر بگیریم که بر جمعیتی از نویسندگان دانشجو اعمال میشود، نه بر یک سند جداگانه، یک مبادله آشکار میشود: هرگاه بخشی از آن جمعیت به شیوهای بنویسد که بهطور طبیعی با خروجی معمول AI همپوشانی دارد، نزدیک به هنجار ژانر، نزدیک به دامنه یک زبانآموزِ زبان دوم، هر آشکارسازی که توان واقعی برای شناسایی نوشتههای AI داشته باشد، ناگزیر بر بخشی از همان گروه همپوشان خطا خواهد کرد. این ادعا درباره این نیست که یک آشکارساز مشخص بد ساخته شده است. این یک ویژگیِ آزمودن یک جمعیت متنوع با یک سند واحد و بدون هیچ شاهد دیگری است.
مثال توضیحی خودِ مقاله، مقیاس درگیر را نشان میدهد. فرض کنید 10 درصد از یک جمعیت دانشجویی به اندازهای نزدیک به خروجی معمول AI مینویسند، و یک آشکارساز برای شناسایی 80 درصد از کارهای واقعاً نوشتهشده توسط AI تنظیم شده است. در این صورت، ریاضیات ایجاب میکند که نرخ میانگین مثبت کاذب در آن جمعیت دستکم 7.5 درصد باشد. این نقصی در مهندسی آشکارساز نیست، بلکه پیامد مستقیم این است که نوشتار آن گروه از نظر آماری تا چه اندازه با چیزی که در حال شناسایی است همپوشانی دارد.
اگر این نسبت به یک دانشگاه با 10,000 دانشجو تعمیم داده شود، همین کران پایین بهتنهایی بهطور تقریبی 750 هشدار نادرست را در سراسر جمعیت نشان میدهد، که پیامد ریاضی آزمودن یک جمعیت متنوع با یک سند واحد و بدون هیچ شاهد دیگری برای سنجش است. نویسنده مقاله صریح است که این ارقام خاص، صرفاً برای توضیح هستند و نه اندازهگیریشده در یک مؤسسه واقعی. این مثال شکل مسئله را نشان میدهد، نه پیشبینی مشخصی برای هیچ پردیس خاصی.
هیچیک از اینها به این معنا نیست که یک امتیاز علامتگذاریشده بیمعنا است. معنایش این است که این امتیاز تنها یک نشانه ضعیف در سطح جمعیت است که از آن خواسته میشود به پرسشی درباره یک فرد واحد پاسخ دهد، و این ناهماهنگی چیزی نیست که هر میزان پرداخت و صیقل از سوی فروشنده بتواند بهتنهایی آن را بهطور کامل برطرف کند. خوانش مسئولانه، این عدد را دعوتی برای گردآوری شواهد بهتر میداند: پیشنویسها، تاریخچه نسخهها، و ردپای معمولیِ نوشتنِ واقعیِ یک فرد. ابزارهای رایگان TextPulse به نویسنده امکان میدهند پیش از آنکه دیگران چنین کنند، بررسی کند که یک پیشنویس در همین سنجهها اکنون در چه وضعی قرار دارد، و این کاربردی متفاوت از فناوری نسبت به تلاش برای غلبه بر هر آشکارساز مشخص است.
کدام نویسندگان با بالاترین خطر روبهرو هستند
پژوهش دو گروه را نشان میدهد که بیش از هر گروه دیگری برجستهاند: افرادی که به زبان دوم مینویسند، و افرادی که به دلایل نامرتبط با شیوه نوشتن مقالهشان، بهطور طبیعی نویسندگانی بسیار ساختارمند یا تکراری هستند. هر دوی این انواع نویسندگان بر همان امضای آماری ظاهر میشوند که یک آشکارساز برای شناسایی آن ساخته شده است.
گویشوران غیربومی انگلیسی بزرگترین خطر مستندشده را متحمل میشوند. آزمونهای مستقل بارها نشان دادهاند که آشکارسازها نوشتار دانشگاهیِ روانِ زبان دوم را بهمراتب بیشتر از نوشتار بومی، بهاشتباه بهعنوان تولیدشده توسط ماشین میخوانند. صفحه TextPulse برای نویسندگان دانشگاهی ESL سازوکار پشت این خطر را با جزئیات بیشتری توضیح میدهد، از جمله اینکه کدام الگوهای واژگانی و نحوی در پس آن قرار دارند.
گروه دوم، که کمتر درباره آن بحث شده است، با مسئلهای مرتبط روبهرو میشود. پژوهشگران حدود 60,000 پست Reddit را مقایسه کردند، که به دو بخش تقسیم شده بودند، یک زیرمجموعه که احتمال داده شد توسط نویسندگان اوتیستیک نوشته شده باشد و یک نمونه عمومی، و هر دو را از یک آشکارساز مبتنی بر GPT-2 عبور دادند. هر دو گروه در مجموع زیر 2 درصد برچسبخورده باقی ماندند، اما زیرمجموعهای که احتمال داده شد اوتیستیک باشد، با نرخ بهطور معناداری بالاتری نسبت به نمونه عمومی برچسب خورد. نوشتاری که به سوی عبارتپردازیِ تحتاللفظی، تکراری و با الگوهای فشرده متمایل است، که ویژگی مستندشدهای در برخی سبکهای ارتباطی اوتیستیک است، دقیقاً همان متن کمتنوعی را تولید میکند که یک آشکارساز برای شناسایی آن ساخته شده است.
دو فروشنده به اندازه کافی منتشر کردهاند که بتوان ادعا را با آن سنجید. نرخ مثبت کاذب خود Turnitin جداگانه بیان شده است، و دقت ZeroGPT در صفحهای مستقل بررسی شده است. اینکه این خطاها بیش از همه بر چه کسانی اثر میگذارند، پرسشی جداگانه است، و اینکه چرا نویسندگان غیربومی انگلیسی بیشتر برچسب میخورند پاسخ خاص خود را دارد.
بهاحتمال زیاد، هیچیک از اینها بهزودی سادهتر نخواهد شد. آشکارسازها به بهبود در شناسایی متنهایی که واقعاً توسط ماشین نوشته شدهاند ادامه خواهند داد، و تنوع جمعیتی همچنان مقداری نرخ اتهام نادرست تولید خواهد کرد که صرفاً با مهندسی بهتر بهطور کامل از میان نمیرود. تغییر مفیدتر از پیش در برخی مؤسسات در حال رخ دادن است, برخورد با یک امتیاز بهعنوان آغاز یک گفتوگو، نه پایان آن، و پرسیدن اینکه یک نرخ منتشرشده واقعاً بر روی چه جمعیتی آزمون شده است، پیش از آنکه به کاربست آن درباره سندی که پیش روی آنان است اعتماد کنند.
Frequently Asked Questions
خطای مثبت کاذب AI detector متنی است که انسان نوشته، اما ابزار تشخیص آن را بهاشتباه AI-generated امتیاز میدهد. این اتفاق میافتد چون detectorها میزان پیشبینیپذیری یک بخش از متن را میسنجند، نه اینکه چه کسی آن را نوشته است. نوشتاری که کوتاه، قالبی، بهشدت ویرایششده، یا به زبان دوم نوشته شده باشد، اغلب به دلایلی که هیچ ربطی به نویسندگی ندارد، پیشبینیپذیر خوانده میشود، و همین برای فعال کردن یک پرچم کافی است.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.