چرا آشکارسازهای AI علیه نویسندگان غیربومی انگلیسی سوگیری دارند
یک مطالعه 2023 در Stanford نشان داد که آشکارسازهای AI، نوشتار روانِ انگلیسیِ غیربومی را با نرخی بسیار بالاتر از نوشتار بومی، بهاشتباه تولیدشده توسط ماشین میخوانند. در اینجا سازوکار پشت این شکاف و آنچه رخ داد وقتی همان مقالهها با واژگانی غنیتر بازنویسی شدند، آمده است.
AI detectors که علیه non-native speakers سوگیری دارند، یک شکایت ذهنی نیست. یک مطالعه داوریشده در 2023 از Stanford آن را بهطور مستقیم اندازهگیری کرد. پژوهشگران هفت detector پرکاربرد GPT را بر 91 انشای واقعی TOEFL که توسط انگلیسیزبانان غیربومی نوشته شده بود و 88 انشای نوشتهشده توسط دانشآموزان کلاس هشتم آمریکایی اجرا کردند، سپس مقایسه کردند که هر گروه چه نمرهای گرفت.
detectorها انشاهای کلاس هشتم را تقریباً هر بار درست خواندند. در انشاهای TOEFL، که توسط بزرگسالانی نوشته شده بود که پیشتر یک آزمون تسلط به انگلیسی در سطح تحصیلات تکمیلی را گذرانده بودند، همان هفت ابزار بهطور میانگین نرخ false positive برابر با 61.22 percent ثبت کردند. 89 مورد از 91 انشا، یعنی نزدیک به 98 percent، توسط دستکم یکی از آن هفت ابزار بهعنوان AI-generated علامتگذاری شدند.
مرور TextPulse بر شواهد گستردهتر درباره دقت AI detectorها آن یافته اصلی و دعاوی حقوقیای را که از آن پس به آن دامن زده شده است، پوشش میدهد. آنچه تقریباً در همه جا، هنگام ارجاع به این مطالعه، حذف میشود سازوکار آن است: چرا نثر یک انگلیسیزبان در سطح تحصیلات تکمیلی در وهله نخست شبیه متن ماشینی خوانده میشود، و وقتی دیگر آنگونه خوانده نمیشود چه چیزی تغییر میکند.
AI Detectors که علیه non-native speakers سوگیری دارند: سازوکار
یک detector هرگز معنا را نمیخواند. آنچه میخواند این است که هر واژه، با توجه به واژههای پیش از خود، تا چه اندازه قابل پیشبینی است، و وقتی model میتوانسته بیشتر متن را از پیش حدس بزند، به آن passage نمره پایین میدهد. تنوع واژگانی, یعنی گستره واژگانی که نویسنده از آن بهره میگیرد، بهجای تکرار مجموعه کوچکتری از واژههای امن، و پیشبینیپذیری نحوی, یعنی اینکه ساختار جمله تا چه حد از رایجترین الگوی زبان پیروی میکند، بهجای آنکه آن را متنوع کند، دو ویژگی تولید زبان هستند که این نمره را پایین میآورند.
این تمایز اهمیت دارد، زیرا این دو به شکلهای متفاوتی در صفحه ظاهر میشوند. تنوع واژگانی به خودِ واژهها مربوط است: نویسندهای که در سه جمله متفاوت به سراغ «obtain»، «acquire» و «secure» میرود، در مقایسه با کسی که «get» را سه بار مینویسد، متنوعتر به نظر میرسد، حتی اگر جملات در سایر جنبهها یکسان باشند. پیشبینیپذیری نحوی به ساختار مربوط است: نهاد، فعل، مفعول، که بارها و بارها تکرار میشود، نه جملهای که با یک بند وابسته آغاز میشود یا با واژهای غیرمنتظره پایان مییابد. نویسندهای که زبان دوم را در شرایط امتحان به کار میگیرد، هر دلیلی دارد که به نسخه امنتر هر دو تکیه کند.
نوشتار به زبان دوم به طور قابل اتکا هر دو را کمتر نشان میدهد، و این نه به عنوان یک کاستی. نویسندهای که در زبانی دیگر کار میکند، بر واژگان و الگوهای جملهای تکیه میکند که بیشترین احتمال درستی را دارند، زیرا حدس نادرست وقتی زبان هنوز کاملا خودکار نشده است، هزینه بیشتری دارد. مقاله Stanford که سوگیری آشکارساز را مستند کرده است، به مجموعهای از پژوهشهای زبانشناسی کاربردی درباره دقیقا همین الگو استناد میکند، الگویی که مدتها پیش از وجود آشکارسازهای AI تثبیت شده بود: غنای واژگانی کمتر، تنوع واژگانی کمتر، و ساختار جملهای سادهتر، ویژگیهای مستند و قابل اندازهگیریِ نوشتار به زبان دوم هستند، نه نشانهای از چیز دیگر.
این شکاف میان نوشتار بومی و غیربومی به صورت تفاوت در perplexity ظاهر میشود، همان سنجشی که یک آشکارساز برای تصمیمگیری درباره این که آیا یک متن به صورت ماشینی تولید شده است یا نه، اجرا میکند. perplexity پایینتر، صرف نظر از این که چه کسی آن را تولید کرده باشد، متن را ماشینیتر نشان میدهد، و نوشتار به زبان دوم به دلایلی که هیچ ربطی به یک chatbot ندارند، در آن مقیاس پایینتر قرار میگیرد. این که آیا واقعا همین شکاف محرک آشکارسازهاست یا نه، و نه یک همزمانی تصادفی، پرسشی آزمونپذیر است. تیم Stanford آن را به طور مستقیم آزمود.
وقتی همان مقالهها با واژگان غنیتر بازنویسی شدند چه رخ داد
پژوهشگران همان 91 انشای TOEFL را که پیشتر میانگین نرخ مثبت کاذب 61.22 percent را برانگیخته بودند، برداشتند و از ChatGPT خواستند آنها را با یک دستور واحد بازنویسی کند: "Enhance the word choices to sound more like that of a native speaker." هیچ چیز درباره محتوا، استدلال یا دستور زبان قرار نبود تغییر کند. پس از همان یک ویرایش، میانگین نرخ مثبت کاذب در میان همان هفت آشکارساز به 11.77 percent کاهش یافت، یعنی کاهشی نزدیک به پنجاه واحد درصد، و تعداد انشاهایی که همه آشکارسازها به اتفاق آرا علامتگذاری کردند از هجده به یک رسید.
سپس پژوهشگران آزمایش را به صورت معکوس اجرا کردند. آنها 88 انشای پایه هشتمِ native-speaker را که آشکارسازها در آغاز تقریباً همیشه به درستی امتیازدهی کرده بودند، برداشتند و از ChatGPT خواستند واژگان آنها را ساده کند، چنانکه گویی توسط یک گویشور غیر بومی نوشته شدهاند. میانگین نرخ مثبت کاذب در همان انشاهای نوشتهشده توسط native-speaker از 5.19 percent به 56.65 percent جهش کرد. نویسندگی انشاها تغییر نکرد. فقط واژگان تغییر کرد، و آشکارسازها نیز از واژگان پیروی کردند.
Perplexity در هر دو جهت، همگام با نرخ طبقهبندی نادرست حرکت کرد: وقتی انشاهای TOEFL غنیتر شدند، بهطور چشمگیری افزایش یافت، و وقتی انشاهای پایه هشتم ساده شدند، بهطور چشمگیری کاهش یافت. نویسندگان از این امر نتیجهای صریح میگیرند: آنچه آشکارسازها در واقع به آن واکنش نشان میدادند هرگز نویسندگی نبود. بلکه انتخاب واژگان بود، ویژگیای که واژگان هر نویسندهای میتواند آن را حمل کند، صرفنظر از اینکه انگلیسی را کجا آموخته باشد.
این سوگیری در میان آشکارسازهای مختلف تا چه اندازه پایدار است
هفت آشکارساز در بیشتر موارد با هم توافق نداشتند، جز بر سر اینکه خطا در کدام جهت رخ میدهد. هر یک از آنها انشاهای TOEFL را بسیار بیشتر از انشاهای پایه هشتم علامتگذاری کردند، اما با دامنههایی بسیار متفاوت.
| آشکارساز | نرخ مثبت کاذب، انشاهای TOEFL | نرخ مثبت کاذب، انشاهای بومی |
|---|---|---|
| Originality.ai | 76% | 1% |
| Quil.org | 75% | 9% |
| Sapling | 68% | 5% |
| OpenAI's detector | 58% | 9% |
| Crossplag | 52% | 12% |
| GPTZero | 52% | 0% |
| ZeroGPT | 48% | 0% |
اینها ارقام 2023 هستند، که بر ابزارها در همان وضعیتی که در آن زمان داشتند اندازهگیری شدهاند. از آن زمان چندین مورد کاملا تغییر کردهاند: OpenAI آشکارساز خود را در July 2023 متوقف کرد، چهار ماه پس از این آزمون، پس از آنکه دریافت تنها 26 درصد از متنهای واقعیِ نوشتهشده توسط AI را بهدرستی برچسب میزند، در حالی که همچنان 9 درصد از نوشتههای انسانی را بهاشتباه برچسبگذاری میکند. آنچه تغییر نکرده، جهت این شکاف است. یک معیار سنجش سوگیری گستردهتر که بهطور خاص برای آزمودن آشکارسازها در میان دستههای جمعیتشناختی و زبانی ساخته شد، در December 2025 منتشر شد و بر ضد چهار ابزار متنباز جدیدتر اجرا شد، و همچنان یادآوری را برای گروههای کمنماینده نویسندگان بهطور پیوسته پایینتر گزارش کرد.
مقاله خود را انسانیسازی کنید
متنِ کمکگرفته از AI خود را دگرگون کنید و کاری کنید طبیعی به نظر برسد، بدون دست زدن به واژههای مهم یا ارجاعها.
آیا این سوگیری هنوز در آشکارسازهای جدیدتر هم دیده میشود؟
مطالعه Stanford اکنون چند نسل AI قدیمی شده است، و نویسندگان خودِ آن نیز محدودیت را نام بردند: یک نمونه آزمایشی کوچک، و آشکارسازهایی که عمدتا بر پایه GPT-2 ساخته شده بودند، مدلی بسیار کوچکتر و قدیمیتر از آنچه امروز توان آشکارسازی را فراهم میکند. این امر یک پرسش موجه را پیش میکشد. آیا فناوری بهتر این شکاف را بسته است؟
جدیدترین آزمون اختصاصی میگوید هنوز نه. در یک مطالعه در فوریه 2026 از دانشگاه سلطان قابوس، پژوهشگران دو آشکارساز تجاریِ موجود، Turnitin و Originality، را در برابر 192 متن آزمودند که در آنها نگارش اصیلِ دانشجویان EFL پیش از ChatGPT، نگارش حرفهای انسانی، متن تولیدشده توسط AI، و متن ترکیبی انسان و AI با هم آمیخته شده بود. نتایج، دقت کلی 69 درصد و 61 درصد را برای این دو ابزار نشان داد، و دقت در دسته ترکیبی، یعنی همان نوع نگارشی که یک مرحله ویرایش عملاً تولید میکند، تقریباً به صفر سقوط کرد. همان مطالعه همچنین یک سوگیری دوم را که همزمان با سوگیری زبانی عمل میکرد آشکار کرد: دقت در نگارش علمی 28 تا 38 واحد درصد پایینتر از نگارش علوم انسانی بود.
هیچیک از این دو یافته درباره یک محصول معیوبِ واحد نیست. دو معماری متفاوتِ آشکارساز، که با فاصله سه سال و بر روی پیکرههای متفاوت توسط دو گروه پژوهشی متفاوت آزموده شدهاند، همچنان به همان نتیجه میرسند: نگارشی که تحت تأثیر قراردادهای ژانری یا زبان دوم شکل گرفته است، به آنچه این ابزارها ماشینی مینامند نزدیکتر میافتد تا نگارشی که هیچیک از این دو ویژگی را ندارد. ابزارهای رایگان TextPulse به نویسنده امکان میدهند همین نمایه آماری را پیش از آنکه متن به آشکارساز یک مؤسسه برسد بررسی کند.
شواهد مستقل که نشان میدهد شکاف واقعی است، نه یک مصنوع آزمون
نخستین مشکل نتایج TOEFL این است که میتوان استدلال کرد که آنها فقط به یک مطالعه آزمایشی کوچک در 2023 مربوط میشوند. همین مسئله در مطالعه دیگری از همان گروه پژوهشی، با استفاده از دادههایی که هیچ ارتباطی با آشکارسازها ندارند، پاسخ داده شد. آنان 1,574 مقاله پذیرفتهشده در ICLR 2023، یک کنفرانس مهم یادگیری ماشین، را بررسی کردند و نمونه را به چکیدههایی محدود ساختند که پیش از وجود ChatGPT ارسال و داوری شده بودند.
نویسندگانی که در کشورهایی مستقر هستند که انگلیسی زبان اصلی آنها نیست، چکیدههایی با perplexity بهطور معناداری پایینتر از نویسندگانی که در کشورهای انگلیسیزبان بومی مستقر هستند نوشتند، و این تفاوت حتی پس از کنترل اینکه هر مقاله تا چه اندازه توسط داوران امتیاز گرفته بود نیز برقرار ماند. این نمونه نمیتوانست توسط کسی که میکوشد شبیه یک chatbot یا کمتر شبیه آن به نظر برسد شکل گرفته باشد. ChatGPT سه ماه تا انتشار فاصله داشت وقتی بازه ارسال مقاله بسته شد. شکاف perplexity میان نگارش دانشگاهی بومی و غیربومی چیزی نیست که آشکارسازها آن را اختراع کرده باشند. چیزی است که آنها به ارث بردهاند.
یک تحلیل آماری 2026 از تشخیص هوش مصنوعی بهعنوان یک مسئله آزمون، نسخهای رسمی از همین نتیجه ارائه میکند. هرگاه گروهی از نویسندگان زبانی تولید کند که در مجموع با خروجی معمول AI همپوشانی داشته باشد، هر آشکارسازی که توان واقعی برای شناسایی متن نوشتهشده توسط AI داشته باشد، ناگزیر باید برای همان گروه بهطور مشخص نرخ مثبت کاذب بالاتری داشته باشد، خاصیتی ریاضی از آزمون یک جمعیت متنوع، نه نقصی در یک ابزار خاص. نویسندگان غیربومی انگلیسی روشنترین مورد مستند از همین همپوشانی دقیق هستند.
این برای نویسندگانی که به زبان دوم مینویسند چه معنایی دارد
هیچیک از اینها استدلالی برای کمتر شبیه خودتان نوشتن نیست. این دلیلی است برای اینکه پیش از آمدن یک نمره، بدانید دقیقاً چه چیزی سنجیده میشود. آشکارسازی که نثر شما را قابل پیشبینی میخواند، یک خاصیت آماری واقعی از نگارش به زبان دوم را تشخیص میدهد، نه شاهدی بر اینکه شما از ابزاری استفاده کردهاید که استفاده نکردهاید.
پژوهشگران Stanford که مطالعه اصلی را انجام دادند، به یک پیامد ناخوشایند از یافته خود اشاره میکنند: همان تعدیل واژگانی که خطر مثبت کاذب را کاهش میدهد، از آن نوع بازنویسیهایی نیز هست که یک نویسنده ممکن است به دلایل کاملاً جداگانه بخواهد، عبارتبندی روشنتر، واژهای دقیقتر، صرفنظر از هر آشکارسازی. صفحه TextPulse برای نویسندگان دانشگاهی ESL توضیح میدهد که این نوع بازنویسی در جملات واقعی چگونه به نظر میرسد، جدا از هر چیزی که به نمره تشخیص مربوط باشد.
آشکارسازهای جدیدتر دارند بهطور صریح این الگو را در نظر میگیرند. Pangram، یکی از تازهترین ورودکنندگان تجاری، در مستندات فنی خود بیان میکند که طبقهبندش علیه نویسندگان غیربومی انگلیسی سوگیری ندارد، هرچند این ادعا از سوی فروشنده مطرح میشود نه از طریق آزمون مستقل. یک perplexity checker رایگان همان سنجش زیربنایی را نشان میدهد که هر یک از این ابزارها از یک متن محاسبه میکنند، بدون آنکه پیشنویس را ابتدا به جایی ارسال کند.
دو همراه عملی در همان خوشه قرار میگیرند: زمان استفاده از a, an و the، که رایجترین منبع این الگو بهتنهایی است، و بهطور کلیتر چگونه در نگارش دانشگاهی انگلیسی طبیعی به نظر برسیم.
پژوهش همچنان در همان جهت انباشته میشود، دو سال بعد، در میان تیمهای مختلف، آشکارسازهای مختلف، و طرحهای آزمون مختلف. آنچه همگام با آن پیش نرفته است، یک پاسخ نهادیِ بهطور گسترده پذیرفتهشده است: ارزیابی یک آشکارساز در برابر طیفی از نویسندگان پیش از آنکه به هر یک از آنان اعتماد شود، نه پس از آنکه یک دانشجوی مشخص از پیش متهم شده باشد. تا زمانی که این امر به روال عادی تبدیل نشود، بارِ اثبات نادرست بودن یک هشدار کاذب دقیقاً بر دوش همان نویسندگانی میافتد که این پژوهش میگوید بیشترین احتمال را برای دریافت آن دارند.
سؤالات متداول
سوگیری آشکارسازهای AI علیه غیربومیها یک یافته داوریشده است، نه حدس و گمان. یک مطالعه 2023 در Stanford نشان داد که 7 آشکارساز GPT پرکاربرد، به طور میانگین 61.22 درصد از مقالههای واقعی TOEFL را بهاشتباه AI-generated تشخیص دادند، در حالی که مقالههای نویسندگان بومی را تقریباً همیشه درست میخواندند.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
