حداقل تعداد واژه برای آشکارسازهای AI: Turnitin، GPTZero و دیگران به چند واژه نیاز دارند
آنچه Turnitin، GPTZero، ZeroGPT، Pangram و Sapling درباره طول متن بیان میکنند، آنچه یک مطالعه TextPulse بر 25,561 جفت متن دانشگاهی یافت، و اینکه وقتی یک متن برای امتیازدهی خیلی کوتاه است چه باید کرد.
حداقل تعداد واژه برای آشکارساز هوش مصنوعی به ابزار بستگی دارد. برخی ابزارها, مانند Turnitin, دستکم به 300 واژه نثر واجد شرایط نیاز دارند, اما برخی دیگر, مانند ZeroGPT, توصیه میکنند برای تولید یک نتیجه سازگار, دستکم 150 تا 200 واژه نوشته شود. چه آشکارساز شما برای متنی با چند صد واژه عددی نشان بدهد یا نه, نتیجه شما کمتر قابل اعتماد است.
برخی همچنان برای هر بند یک درصد ارائه میکنند, و امتیازها برای متنهای کوتاه معمولاً کم‌دقت‌تر هستند. پژوهشگران در TextPulse Research این موضوع را با 25,561 جفت متن دانشگاهیِ نوشته‌شده توسط انسان و بازنویسیهای هوش مصنوعی آنها آزمودند. در 300 واژه, آنها یک طبقهبند را تنظیم کردند تا 95% از بازنویسیهای هوش مصنوعی را شناسایی کند. این طبقهبند همچنین 33.9% از متنهای انسانی را علامتگذاری کرد. در 25 واژه, 67.6% را علامتگذاری کرد.
آشکارسازی هوش مصنوعی به چند واژه نیاز دارد؟
آشکارسازی هوش مصنوعی برای قابل اعتماد بودن, یعنی برای داشتن یک نتیجه پایدار, به چند صد واژه نیاز دارد. قابلیت اعتماد سریع‌ترین افت را در زیر حدود 100 واژه تجربه میکند. بیشتر قابلیت اعتماد در مطالعه TextPulse در حدود 150 واژه تثبیت شد. پس از آن, دقت با آهنگی کندتر افزایش یافت, از 84.0% در 150 واژه به 86.8% در 300 واژه.
پژوهش‌های دیگر نیز به آستانه‌های مشابهی اشاره میکنند. یک پیمایش 2025 در Journal of Artificial Intelligence Research, که در مقاله TextPulse به آن استناد شده است, ارقام گزارش‌شده تا اینجا را گردآوری میکند. طبقه‌بندهای آماری و تنظیم‌شده با دقت, برای کارکرد دقیق به حدود 100 واژه نیاز دارند. چندین آشکارساز استاندارد برای رسیدن به کارایی کامل به حدود 120 واژه نیاز دارند, و شناسایی نیرومندترین مدل‌ها حدود 200 واژه می‌طلبد.
هرچه یک آشکارساز توکن‌های بیشتری را ببیند, یعنی قطعات واژه‌ای که یک مدل زبانی با آنها کار میکند, تشخیص متن انسانی از متن هوش مصنوعی آسان‌تر می‌شود. وقتی یک آشکارساز در یک پاسخ کوتاه فقط چند توکن دیده باشد, برای هیچ‌یک از دو داوری شواهد چندانی وجود ندارد. perplexity, burstiness, و دیگر سنجه‌های دخیل در راهنمای نحوه کار آشکارسازهای هوش مصنوعی توضیح داده شده‌اند.
حداقل تعداد واژه برای آشکارساز هوش مصنوعی بر حسب ابزار: Turnitin, GPTZero و دیگران
هر فروشنده حد پایین یا راهنمای خاص خود را تعیین میکند, و همه از یک واحد یکسان استفاده نمی‌کنند. Turnitin واژههای نثر واجد شرایط را می‌شمارد. دیگر فروشندگان طول متن را توصیه میکنند یا توضیح می‌دهند که با طولانی‌تر شدن متن, دقت چگونه تغییر میکند.
| Detector | آنچه فروشنده درباره طول متن بیان میکند |
|---|---|
| Turnitin | دستکم 300 واژه نثر واجد شرایط پیش از آنکه امتیاز AI تولید شود، که نسبت به حداقل پیشین 150 واژه افزایش یافته است، زیرا دقت با متن بیشتر افزایش می‌یابد |
| GPTZero | با ارسال متن بیشتر، دقت بهبود می‌یابد. کل اسناد با دقت بیشتری نسبت به بندها، و بندها با دقت بیشتری نسبت به جمله‌های منفرد طبقه‌بندی میشوند |
| ZeroGPT | برای نتیجه‌ای پایدار، دستکم 150 تا 200 واژه توصیه می‌شود، و 500 تا 1,000 واژه یا بیشتر، قابلیت اتکا را بیش از این بهبود میدهد. قطعه‌های بسیار کوتاه یا به‌شدت ویرایش‌شده "نشانه‌های کمتری حمل میکنند" |
| Pangram | روی متنهای بلندتر که با جمله‌های کامل نوشته شده‌اند، بهترین عملکرد را دارد. شرکت توصیه میکند فهرست‌های گلوله‌ای کوتاه یا متن بسیار قالبی بررسی نشوند |
| Sapling | اعداد منتشرشده آن درباره تشخیص و خطای مثبت کاذب، درباره متنهای بلندتر صدق میکنند. متنهای کوتاه‌تر "ممکن است نرخ‌های دقت متفاوتی داشته باشند" |
این همان حداقلی است که بیشتر دانشجویان با آن روبه‌رو میشوند، زیرا Turnitin در بسیاری از سامانه‌های یادگیری دانشگاهی، آشکارسازِ داخلی است. در گزارش نگارش AI، برای کمتر از 300 واژه نثر واجد شرایط، هیچ امتیازی داده نمی‌شود. بخشِ امتیازدهیِ زیرِ این حداقل و ستاره‌ای که Turnitin برای امتیازهای زیر 20% نمایش میدهد، در راهنمای چگونگی تشخیص AI توسط Turnitin پوشش داده شده است.
یک درصد روی صفحه به این معنا نیست که متن، طولِ توصیه‌شدهٔ خودِ ابزار را داشته است، زیرا بسیاری از بررسی‌کننده‌های مصرفی یک بند منفرد را هم امتیازدهی میکنند. در 2023، طبقهبند متن AIِ OpenAI به حداقل 1,000 نویسه ورودی نیاز داشت. OpenAI اعلام کرد که روی متنهای کوتاه بسیار نامطمئن است و 6 ماه بعد آن را به دلیل نرخ پایین دقت حذف کرد.
دقت آشکارسازهای AI بر حسب طول متن: پژوهش TextPulse چه یافت
مقاله پژوهشی TextPulse درباره طول متن و قابلیت اعتماد تشخیص AI فقط طول را بررسی میکند، جدا از همه ویژگی‌های دیگر متن‌ها. این مجموعه داده شامل 25,561 جفت متن است که در آن هم متن انسانی و هم بازنویسی AI آن دستکم 300 واژه دارند. هر متن به 25، 50، 100، 150، 200، 250 و 300 واژه بریده شد. برای هر طول واژه، طبقهبند آموزش داده شد و آزمون شد.
همان متن‌ها در هر طولی ظاهر میشوند، یعنی موضوع، رشته و مدل AI ثابت نگه داشته شده‌اند. بازنویسی‌ها از هشت ترکیب متفاوت مدل AI در شش خانواده مدل به دست آمده‌اند. طبقهبند 45 ویژگی سبکی را ارزیابی میکند، مانند طول واژه و تنوع واژگانی. این یک ابزار پژوهشی است. مقاله هیچ ادعایی درباره این که آشکارسازهای تجاری ممکن است چگونه از این ویژگی‌ها یا آستانه‌ها استفاده کنند مطرح نمی‌کند. برای آزمون ابزارهای تجاری، راهنمای این که آیا آشکارسازهای AI دقیق هستند را ببینید.
| طول متن | دقت | متنهای انسانی که بهاشتباه علامتگذاری میشوند وقتی 95% از بازنویسیهای AI شناسایی میشوند | بازنویسیهای AI که شناسایی میشوند وقتی 1% از متنهای انسانی بهاشتباه علامتگذاری میشوند |
|---|---|---|---|
| 25 واژه | 73.9% | 67.6% | 17.2% |
| 50 واژه | 78.2% | 58.8% | 28.0% |
| 100 واژه | 82.3% | 49.4% | 40.5% |
| 150 واژه | 84.0% | 44.1% | 47.9% |
| 200 واژه | 85.2% | 40.1% | 50.5% |
| 250 واژه | 86.1% | 36.7% | 54.2% |
| 300 واژه | 86.8% | 33.9% | 56.5% |
| متن کامل | 88.4% | 28.6% | 60.6% |
برای تشخیص AI، دقت متن کوتاه در هر ستون جدول بدتر است، و ستون دقت میزان این افت را کمتر از واقع نشان میدهد. یک داوری قابل استفاده به نمره‌ای نزدیک به یکی از دو انتهای مقیاس نیاز دارد، و متنهای کوتاه‌تر هر دو نمره انسانی و AI را به سمت میانه می‌برند. با آستانه‌ای که برای شناسایی 95% از بازنویسیهای AI تنظیم شده بود، طبقهبند حدود نیمی از متنهای انسانی را در 100 کلمه بهاشتباه علامتگذاری میکند. با آستانه‌ای که برای علامتگذاری فقط 1% از متنهای انسانی تنظیم شده بود، در 25 کلمه 17.2% از بازنویسیهای AI را شناسایی میکند.
AUC، یعنی سنجه اصلی مقاله برای اینکه طبقهبند تا چه اندازه دو گروه را از هم جدا میکند، از 0.817 در 25 کلمه به 0.940 در 300 کلمه افزایش یافت. در متنهای کامل، که میانگین آنها در سمت انسانی 466 کلمه بود، به 0.950 رسید. تندترین بخش این افزایش در زیر 100 کلمه رخ داد، و هر گام پس از 150 کلمه افزوده کمتری داشت.
چرا مثبت‌های کاذب در متن کوتاه افزایش می‌یابند
آشکارسازی که بر پایه اسناد بلند ساخته شده باشد، در متنهای کوتاه نرخ مثبت کاذب بسیار بالاتری دارد. مقاله یک طبقهبند را ارائه کرد که بر متنهای کامل آموزش دیده بود و با آستانه پیش‌فرض برای طبقه‌بندی متنهای کوتاه به کار رفت. نرخ مثبت کاذب این سامانه برای متنهای انسانی از 16.1% در 300 کلمه تا 39.1% در 100 کلمه و 69.8% در 25 کلمه متغیر بود.
تشخیص آن از بازنویسیهای AI در همان بازه تقریباً تغییر نکرد، از 88.4% در 300 کلمه تا 92.4% در 25 کلمه. خطاهای اضافی، برچسب‌های نادرست بر نوشتار انسانی بودند. مقاله طبقهبند را در ورودی‌های کوتاه به‌صورت دارای سوگیری نظام‌مند به سوی AI توصیف میکند.
علت، مکانیکی است. نسبت نوع به نشانه، یعنی سهم واژههای متمایز در یک متن، هرچه متن کوتاه‌تر می‌شود افزایش می‌یابد، زیرا نمونه کوتاه فرصت‌های کمتری برای تکرار یک واژه فراهم میکند. متنهای انسانی در این مطالعه به‌طور میانگین نسبت 0.47 را در طول کامل و 0.87 را در 25 کلمه داشتند. بازنویسیهای AI در طول کامل به‌طور میانگین 0.55 بودند.
این طبقهبند که بر روی متنهای کامل آموزش دیده است، یاد می‌گیرد که نسبتی در حدود 0.55 میان نوشتار AI و نوشتار انسانی تمایز ایجاد میکند. هر متن 25 واژه‌ای، هر کسی که آن را نوشته باشد، به‌مراتب بالاتر از این نسبت قرار می‌گیرد و به سمت سوی AI رانده می‌شود. مقاله اشاره میکند که یک آشکارسازِ مستقر، هر بار که طول ورودی را تغییر می‌دهید، دوباره آموزش داده نمی‌شود. راهنمای نرخ مثبت کاذبِ منتشرشده توسط Turnitin توضیح میدهد که این رقم چه چیزهایی را دربر می‌گیرد و چه چیزهایی را کنار می‌گذارد.
مقاله خود را انسانی‌سازی کنید
متنِ کمک‌گرفته از AI خود را دگرگون کنید و کاری کنید طبیعی به نظر برسد، بدون دست زدن به واژههای مهم یا ارجاع‌ها.
چرا متنهای کوتاه به‌سختی طبقه‌بندی میشوند
متنهای کوتاه از هر چیزی که یک آشکارساز اندازه‌گیری میکند، مقدار کمتری در اختیار آن می‌گذارند. واژههای کمتر یعنی توکن‌های کمتر برای مقایسه، و جمله‌های کمتر یعنی ریتم کمتر برای اندازه‌گیری. در این مطالعه، یک متن 25 واژه‌ای به‌طور میانگین 1.6 جمله، یک متن 50 واژه‌ای 2.7 جمله، و یک متن 300 واژه‌ای 13.4 جمله داشت.
تغییرپذیری طول جمله، که اغلب burstiness نامیده می‌شود، به مقایسه جمله‌ها با یکدیگر وابسته است. در این مطالعه، این ویژگی در متنهای کامل، نوشتار انسانی و AI را با 0.71 انحراف معیار از هم جدا می‌کرد و در 100 واژه این مقدار 0.31 بود. در 50 واژه، این تفاوت عملاً صفر بود. آشکارسازی که بر burstiness تکیه دارد، برای اندازه‌گیری قابل‌اعتماد آن به چندین جمله نیاز دارد.
بخش بیشتری از این توان در سطح واژه حفظ می‌شود. میانگین طول واژه و نرخ واژههای بلند، در 25 واژه حدود دو سوم از توان تمایزبخشی خود را حفظ کردند. اما هم‌پوشانی نیز افزایش یافت: در 50 واژه، نمره‌های هر دو گروه تمایل داشتند به سوی مرکز متمرکز شوند. بخش بزرگی از هر گروه در نهایت در ناحیه هم‌پوشانی قرار می‌گیرد.
عبارت‌های نقل‌قولی یا کلیشه‌ای نیز در یک متن کوتاه وزن بیشتری پیدا میکنند. یک پاسخ 50 واژه‌ای حدود سه جمله دارد، بنابراین هر جمله تقریباً یک‌سوم آن چیزی است که آشکارساز می‌بیند. یک تعریف نقل‌قولی در یکی از آنها، بسیار بیشتر از همان جمله درون یک مقاله 2,000 واژه‌ای وزن دارد.
پست‌های بحث، چکیده‌ها، آزمون‌های پاسخ کوتاه و نامه‌های پوششی
پست‌های تابلوی بحث
پستی که برای یک الزام 200 واژه‌ای نوشته شده باشد، پایینتر از کف 300 واژه‌ای Turnitin قرار می‌گیرد، بنابراین Turnitin برای آن هیچ نمره AI در نظر نمی‌گیرد. ابزارهای دیگر ممکن است همچنان برای آن نمره تعیین کنند. در 200 واژه، طبقه‌بندِ این مطالعه، وقتی برای شناسایی 95% بازنویسیهای AI تنظیم شده بود، 40.1% از متنهای انسانی را بهاشتباه علامتگذاری کرد، در برابر 28.6% در متنهای کامل.
چکیده‌ها
یک چکیده 250 واژه‌ای برای مجله نزدیک به حداقل است، و چکیده‌ها نوشتاری متراکم و رسمی هستند. یک مطالعه پیشین TextPulse نشان داد که متنهای انسانی که یک طبقهبند بهاشتباه طبقه‌بندی میکند، رسمی‌ترین متن‌ها هستند. مقاله مربوط به طول، طول متن را بهعنوان علت دوم و جداگانه‌ای برای هشدارهای نادرست اضافه میکند، و یک چکیده کوتاه و رسمی در معرض هر دو قرار دارد. اگر درباره یک چکیده تردید ایجاد شود، بررسی مقاله کامل به آشکارساز همان طولی را میدهد که فروشنده آن توصیه میکند.
آزمون‌های پاسخ کوتاه
پاسخهای 50 تا 100 واژه‌ای در بازه‌ای قرار می‌گیرند که اعداد مطالعه در آن سریع‌ترین کاهش را نشان می‌دهند. در 50 واژه، یک طبقهبند که برای شناسایی 95% بازنویسیهای AI تنظیم شده بود، 58.8% از متنهای انسانی را بهاشتباه هشدار داد. مقاله نتیجه می‌گیرد که پایینتر از 50 واژه، هیچ آستانه عملی نتایج قابل استفاده‌ای فراهم نمی‌کند. همچنین می‌افزاید که خودداری از صدور حکم درباره یک متن کوتاه، از امتیازدهی به آن قابل‌اعتمادتر است.
نامه‌های پوششی
یک نامه پوششی یک‌صفحه‌ای برای یک شغل یا یک ارسال به مجله، چند صد واژه طول دارد، و بخش زیادی از آن از عبارت‌بندی‌های تثبیت‌شده پیروی میکند. Pangram توصیه میکند که متن بسیار قالبی غربال نشود. اگر یک نامه پوششی بررسی شود، هر امتیازی را بهعنوان برآوردی با حاشیه خطای گسترده در نظر بگیرید.
وقتی متن شما زیر حداقل است چه باید کرد
متن را همان‌طور که نوشته‌اید باقی بگذارید، و در عوض برای امتیاز زمینه ارائه کنید. این گام‌ها هم برای نویسنده و هم برای فردی که یک امتیاز را بررسی میکند، کاربرد دارند.
- متن را بی‌جهت طولانی نکنید. واژههای اضافی که برای رسیدن به یک حداقل نوشته میشوند، اثری را که از شما خواسته شده بود بنویسید تغییر می‌دهند، و امتیاز سپس نسخه طولانی‌شده را توصیف میکند.
- هرجا می‌توانید کل سند را بررسی کنید. یک مقاله یا فصل کامل، طول توصیه‌شده را برای آشکارساز فراهم میکند، و بخش کوتاه بهعنوان جزئی از متنی بلندتر امتیازدهی می‌شود.
- نمای جمله را بررسی کنید. آشکارسازهایی که جملات را امتیازدهی میکنند نشان می‌دهند کدام سطرها نتیجه را پیش می‌برند، و در یک متن کوتاه این اغلب یک یا دو جمله است، مانند یک تعریف نقل‌قول‌شده.
- پیش‌نویس‌ها و تاریخچه نسخه‌های خود را نگه دارید. آنها نشان می‌دهند متن چگونه رشد کرده است، و یک امتیاز روی یک بخش کوتاه نمی‌تواند این را نشان دهد.
- بپرسید امتیاز چگونه استفاده خواهد شد. نتیجه‌ای روی متنی که زیر طول توصیه‌شده خود فروشنده است، نشانهای ضعیف است، و یک بازبین باید آن را به همان صورت وزن‌دهی کند.
برای کارکنان، بحث مقاله به یک قاعده ساده اشاره میکند: متن بیشتری را الزامی کنید، یا برای متنی که از یک طولِ مشخص کوتاه‌تر است هیچ رأیی صادر نکنید. حد 300 واژه‌ای Turnitin از همین نوع قاعده است. وقتی یک گزارش کامل وجود داشته باشد، راهنمای اینکه یک امتیاز خوب Turnitin چیست توضیح میدهد که چگونه آن را تفسیر کنید.
TextPulse چگونه با متن کوتاه برخورد میکند
TextPulse از آشکارساز AI استفاده نمی‌کند و اسکن‌های آشکارساز را نمی‌فروشد. TextPulse پس از هر انسانی‌سازی، یک امتیاز انسانی (0 تا 100) نمایش میدهد. این امتیاز برآوردی است که درون برنامه، بر پایه عمق بازنویسی، تنوع واژگانی، توزیع توکن و تغییرپذیری طول جمله‌های متن شما انجام می‌شود. برای محاسبه این امتیاز از هیچ آشکارسازی استفاده نشده است.
AI Humanizer برای هر انسانی‌سازی دستکم به 50 واژه نیاز دارد، و در Pro تا 500 واژه در هر نوبت و در Plus تا 1,000 واژه را پردازش میکند. Document Humanizer می‌تواند با یک فایل کامل انگلیسی .docx تا طول 15,000 واژه کار کند. این ابزار به دستکم 50 واژه متنِ بدنه نیاز دارد، و تیترها، فهرست‌ها، جدول‌ها، زیرنویس‌ها و ارجاعات را همان‌گونه که نوشته شده‌اند حفظ میکند. هر دو برای پایین آوردن امتیازهای AI در پیش‌نویس‌هایی طراحی شده‌اند که دوره یا مجله شما در آنها کمک AI را مجاز می‌داند.
پیش از آنکه متن خود را در یک آشکارساز جای‌گذاری کنید، طول آن را با استفاده از Word Counter رایگان بررسی کنید. این ابزار واژه‌ها، نویسه‌ها با فاصله و بدون فاصله، جمله‌ها و واژههای یکتا را می‌شمارد، تا بتوانید یک متن را با حدی که بر حسب هر یک از این واحدها بیان شده است مقایسه کنید. همه جزئیات مربوط به مطالعه طول، یعنی امتیازهای هر متن و کد تحلیل، به‌طور آزاد در Zenodo در دسترس است، و مرکز پژوهش این مطالعه را همراه با دیگر مقاله‌های TextPulse فهرست میکند.
سؤالات متداول
Turnitin پیش از آنکه امتیاز AI تولید کند، دستکم به 300 واژه نثر واجد شرایط نیاز دارد، و این کف را از 150 واژه افزایش داده است. پایینتر از آن، گزارش نگارش AI هیچ امتیازی نشان نمیدهد. حداقل تعداد واژه برای آشکارسازهای AI بسته به ابزار متفاوت است، بنابراین پیش از اعتماد به یک نتیجه درباره یک متن کوتاه، راهنمای خودِ هر فروشنده را بررسی کنید.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
