هل كاشفات الذكاء الاصطناعي دقيقة؟ الإيجابيات الكاذبة والتحيز
تنشر الشركات معدلات إيجابيات كاذبة تقل عن 1%. وجد باحثون مستقلون اختبروا الكاشفات نفسها على الكتابة الإنجليزية لغير الناطقين بها معدلات تزيد على 60%. إليك ما تظهره الأدلة.
يدّعي Turnitin أن معدل الإيجابيات الكاذبة لديه أقل من 1%. اختبر فريق من الباحثين المستقلين عدداً من الكواشف على نطاق أوسع من عينات الكتابة الصادرة عن متحدثين غير أصليين للغة الإنجليزية. ووجدوا أن متوسط معدل الإيجابيات الكاذبة كان أكثر من 60% في ذلك النوع نفسه من الكتابة. كلا الرقمين حقيقيان، وكلاهما نُشر، وكلاهما يتعلق بكواشف تُباع إلى السوق نفسها. هل كواشف الذكاء الاصطناعي دقيقة؟ يعتمد ذلك على الفئة السكانية التي اختبرتها، وعلى الكاشف الذي استخدمته، وعلى الطريقة التي عرّف بها مزودك ذلك في الأصل.
لن تعيد هذه التدوينة شرح كيفية حساب الكاشف لذلك الدرجة. فالآلية، والحيرة، واحتمال الرمز، وكيفية تدريب المصنف، مغطاة بالتفصيل في موضع آخر، ومن المفيد قراءتها أولاً إن لم تكن قد فعلت. ما يهم هنا هو ما يحدث بعد وجود الدرجة: كم مرة تكون خاطئة، ومن تكون كتابته أكثر عرضة لخطئها، وما الذي تكلفه تهمة كاذبة فعلياً لشخص لم يرتكب أي خطأ.
هل كواشف الذكاء الاصطناعي دقيقة؟
ليس على نحو ثابت، والفجوة بين الادعاءات التسويقية والاختبارات المستقلة موثقة جيداً. نشر فريق من الباحثين بقيادة Debora Weber-Wulff نتائجهم بشأن 14 أداة كشف، منها 12 مجانية واثنتان تجاريتان، وقد اختُبرت مقابل مزيج من نصوص بشرية ونصوص ChatGPT في 2023. ووجدوا أن أيّاً من هذه الأدوات ليس دقيقاً أو موثوقاً، مع تحيز مدمج لوسم النص الآلي على أنه بشري بدلاً من العكس. وكانت أداتان تجاريتان شملتهما هذه التجربة هما Turnitin وPlagiarismCheck. وقد أدى جميع الأدوات في هذه التجربة أداءً أسوأ عندما أُعيدت صياغة النص.
لكن بعد عامين، الأمور ليست راكدة. وقد وضعت ورقة عمل من كلية Booth في جامعة Chicago، بقلم Brian Jabarian وAlex Imas، ثلاثة وافدين جدد، Pangram وGPTZero وOriginality.ai، ومنافسا مفتوح المصدر واحدا، تحت الاختبار باستخدام ما يقرب من 2,000 قطعة مكتوبة بشريا من المدونات والأخبار والمراجعات والقصص الخيالية. وفي ظل ظروف اختبار مضبوطة، لم تنخفض أفضل أداة في المجموعة أبدا عن 99.8 percent دقة، وحافظت على معدل الإيجابيات الكاذبة عند مستوى منخفض. وقد أدى النموذج مفتوح المصدر أداء مماثلا لأداء من يخمن عشوائيا. لقد تحسنت الأمور فعلا. إلى حد ما. قليلا.
لكن المشكلة هي كلمة مضبوطة. فمقاطع المقارنة المعيارية نظيفة وكاملة ومنتجة في ظل ظروف معروفة. أما المقالة المقدمة فليست أيّا من ذلك على نحو موثوق. وقد لا تكون النتائج في العالم الحقيقي مطابقة للنتائج المخبرية، كما قال المسؤول التنفيذي الرئيسي عن المنتج في Turnitin علنا، رغم أن ذلك اعتراف نادر ومفيد من بائع. ويضع القسم التالي أرقام البائع إلى جانب الأرقام المستقلة حتى تكون الفجوة مرئية بدلا من أن تكون مجرد ادعاء.
ادعاءات البائع مقابل الاختبار المستقل
يصطف الجدول أدناه ما تدعيه أربعة كاشفات عن نفسها مقابل ما قاسه الباحثون المستقلون عندما اختبروا الأدوات مباشرة. اقرأ العمودين الأوسطين معا، لا عمود البائع وحده.
| الكاشف | الدقة التي يدّعيها المورّد | الملاحظة المستقلة | ما يقوله المورّد عن الإيجابيات الكاذبة |
|---|---|---|---|
| Turnitin | عتبة ثقة 98% قبل وضع علامة؛ أقل من 1% من الإيجابيات الكاذبة على مستوى المستند | نحو 80% دقة، وهو الأفضل بين 12 أداة في مقارنة 2023، على نسخة أقدم من الأداة | أقل من 1% على مستوى المستند فوق عتبة 20% مكتوب بالذكاء الاصطناعي؛ نحو 4% على مستوى الجملة |
| GPTZero | 95.7% من رصد النص المكتوب بالذكاء الاصطناعي عند معدل 1% من الإيجابيات الكاذبة في معيار RAID المستقل | 96% دقة في المقاطع القصيرة، ومعدل الإيجابيات الكاذبة أقل من 1% في دراسة 2025 لجامعة Chicago Booth | يذكر معدل إيجابيات كاذبة قدره 1% في معيار RAID |
| Originality.ai | 99% دقة، ومعدل إيجابيات كاذبة 0.5% (نموذج Lite)، و1.5% (نموذج Turbo) | معدل الإيجابيات الكاذبة أقل من 1%، لكنه أغفل 10% إلى 40% من النص المكتوب بالذكاء الاصطناعي في دراسة Booth نفسها | ينشر أرقام الإيجابيات الكاذبة بشكل منفصل بحسب فئة النموذج |
| Pangram | معدلات خطأ يقول إنها أقل بأكثر من 38 مرة من الأدوات المنافسة، ويذكر أنه لا يوجد تحيز ضد الكتّاب غير الناطقين بالإنجليزية | الدقة لم تنخفض مطلقا عن 99.8%، ومعدل الإيجابيات الكاذبة قريب من الصفر، في دراسة Booth | يذكر معدلات إيجابيات كاذبة قريبة من الصفر عبر 10 مجالات نصية و8 نماذج لغوية |
هناك أمران يبرزان. أولا، جميع أرقام المورّد صادرة من مختبر يسيطر عليه المورّد، بينما أرقام Booth صادرة من باحثين لا يبيعون شيئا. ثانيا، لا يظهر Turnitin إطلاقا في ذلك العمود الأوسط لأن دراسة 2025 لم تختبره. في الجدول، يستند رقمه المستقل إلى مقارنة سابقة في 2023، لكنه أُجري على نسخة أقدم من الأداة، لذا تذكر ذلك عند النظر إلى الجدول بوصفه مقارنة مباشرة بين الشيء ونظيره.
ما مدى دقة رصد Turnitin للذكاء الاصطناعي؟
لا ينشر Turnitin رقمًا واحدًا للدقة. بل ينشر عتبة ومقايضة. وقد قالت الشركة إنها لا تضع علامة على أي مستند إلا عندما تكون واثقة بنسبة 98 percent من أن الجزء المعلَّم مكتوب بواسطة AI، وأن هذه العتبة هي ما يبقي معدل الإيجابيات الكاذبة على مستوى المستند دون 1 percent. وقد قدَّر Turnitin أنه يلتقط نحو 85 percent من الكتابة التي استعانت بـ AI، ويُمرِّر الباقي عمدًا بدلًا من المخاطرة باتهام خاطئ.
أما النسبة الفعلية للإيجابيات الكاذبة التي يعرضها Turnitin على مستوى الجملة, حيث تبرز الواجهة أسطرًا محددة بدلًا من مستند كامل, فهي في الواقع أقرب إلى 4 percent. وهذه هي النسبة التي يجدر معرفتها إذا التقط أستاذ لقطة شاشة لفقرة واحدة معلَّمة بدلًا من درجة المستند كله، لأن الجملة المظللة تحمل احتمالًا أعلى بصورة ملموسة لأن تكون خاطئة من درجة المستند المجاورة لها.
ومن الجدير أيضًا ملاحظة أن Turnitin اعترف بهذه الفجوة مباشرة. فقد وجدوا أن نتائجهم الأولى في العالم الواقعي, ولا سيما للمستندات الأقصر, كانت فيها معدلات أعلى من الإيجابيات الكاذبة مما كان متوقعًا بناءً على اختباراتهم المخبرية. لذلك عدَّلوا الحد الأدنى لطول المستند لكي يُمنح تقييمًا من 150 إلى 300 كلمة. وهذا يعني أن المورِّد عدَّل منتجه نفسه لأن الرقم المنشور لم يصمد خارج المختبر، وهو ما يقول بقدر ما تقوله أي دراسة مستقلة.
ما التكلفة الفعلية للإيجابية الكاذبة على الطالب
حدث هذا لطالب MBA تنفيذي في Yale's School of Management. وقد وُجِّهت إلى الطالب مخالفة، بالمعنى الحرفي الممكن للكلمة. وكان الكاشف المعني هو GPTZero. وقد وُسِم الامتحان النهائي للطالب في مقرر للتمويل من قبل مساعد تدريس ظن أن الكتابة كانت طويلة ومفصلة مع ترقيم وعلامات ترقيم وقواعد شبه مثالية. وكان هذا الأستاذ تحديدًا يشغله عبر GPTZero، الذي صنَّف الإجابات على أنها على الأرجح مولَّدة بواسطة AI.
فشل في المقرر وتم إيقافه لمدة سنة. وتدعي دعواه القضائية، المرفوعة أمام المحكمة الفيدرالية في فبراير 2025، أن سياسة Yale نفسها تقيد استخدام أدوات مثل GPTZero لهذا السبب بالذات، وهو معدل الإيجابيات الكاذبة الموثق لديها ضد المتحدثين غير الأصليين للإنجليزية، وأنه استخدمه بما يخالف تلك السياسة. كما تشير مذكرته إلى أن GPTZero أعطى درجة 100 percent مولدة بالذكاء الاصطناعي على كتابة أكاديمية لرئيس الجامعة السابق في Yale نفسه ولعميد كلية الأعمال.
رفض القاضي إصدار أمر قضائي أولي في مايو 2025. ولم تُحسم القضية بعد, كما أكتب. ويدعي المدعي، وهو مواطن فرنسي، أن التحيز المعروف نفسه ضد المتحدثين غير الأصليين للإنجليزية هو الذي جعل كتابته تظهر على النحو الذي ظهرت به. وهذا ما ننظر فيه في القسم التالي. وما ليس محل جدل هو الثمن: سنة ضائعة من برنامج دراسي، ودرجة رسوب، ونفقات قانونية، وعدة أشهر من النزاع حول درجة بدلًا من نيل شهادة. إن معدل الإيجابيات الكاذبة البالغ 1 percent يبدو ضئيلا إلى أن تجعل منه مجموعة سكانية كبيرة أمرا يخص شخصا بعينه.
حوّل مقالك إلى صيغة بشرية
حوّل النص الذي استعنت فيه بالذكاء الاصطناعي واجعله يبدو بشريًا، من دون المساس بالكلمات المهمة أو الاستشهادات.
ما السمات الكتابية التي تجعل النص البشري يبدو آلي الصنع
تحمل أربعة أنواع من الكتابة العادية أكبر قدر من المخاطر، ولا ينطوي أي منها على قيام الشخص بأي خطأ. فالمستندات القصيرة، والكتابة ذات الطابع الصيغي الشديد، والمواد المقتبسة أو المبنية على قوالب، والكتابة التي خضعت لتدقيق لغوي مكثف، تميل جميعها إلى أن تُصنف على أنها أكثر قابلية للتنبؤ من النثر المؤلف بحرية، وهذه هي الخاصية الوحيدة التي يقيسها كل كاشف فعليا. ويقيس free burstiness checker هذا التباين نفسه مباشرة، وهي طريقة أسرع لرؤية النمط من قراءة وصفه.
بعض الأنواع الأدبية تكون صيغية بطبيعتها. فقسم المنهجيات، وتقرير المختبر، وخطاب التغطية القياسي، ومراجعة الأدبيات، كلها تكافئ العبارة المألوفة أكثر من العبارة المبتكرة، لأن العرف هو ما يجعل الوثيقة قابلة للاستخدام لدى قارئها. وقد اختبر الباحثون هذا مباشرة على كتابة حقيقية: إذ مرروا 14,400 ملخص مجلة منشور بين 1980 و2023، أي قبل وجود أي نموذج لغوي كبير، عبر كاشف متاح للعامة. وقد وُسِم ما يصل إلى 8 percent منها على أنها مولدة بواسطة الذكاء الاصطناعي بغض النظر عن سنة النشر، كما وُسِمت ملخصات New England Journal of Medicine بنسبة 10.24 percent، وهي أعلى نسبة إيجابية كاذبة بين المجلات الخمس التي جرى اختبارها.
لم يكن الاختبار ليكشف أي شيء يتعلق بـ ChatGPT، لأن ChatGPT لم يكن موجودا خلال معظم السنوات التي شملها. لقد كشف النوع الأدبي. وبصياغة أكثر رسمية، كما ستقررها 2026's statistical analysis of the detection problem، لا توجد طريقة لبناء كاشف يميز بين جملة يمكن التنبؤ بها لأنها كُتبت بواسطة برنامج، وجملة يمكن التنبؤ بها لأنها من النوع الذي تكتبه في هذا النوع الأدبي. إنهما تبدوان متطابقتين تماما من الخارج.
كما أن التحرير المكثف يدفع في اتجاه مشابه. فالمسودة الأولى تحمل خصائص الكاتب غير المنتظمة الخاصة به: ترتيب الكلمات الغريب، والجملة التي تطول لأن الفكرة طالت. أما جولة التدقيق اللغوي الشاملة، ولا سيما إذا أُجريت عبر أداة أخرى، فتميل إلى تنعيم تلك الخصائص غير المنتظمة بالضبط وإزالتها. وقد اختبرت أكبر مقارنة مستقلة لأدوات الكشف حتى الآن 14 أداة منها، ووجدت أن الدقة انخفضت أكثر، لدى كل أداة، بعد أن أُعيدت صياغة النص العينة أو تُرجم آليا.
| سمة الكتابة | لماذا تقلل من اللامتوقعية الظاهرة في الوثيقة | ما الذي تُظهره الأدلة |
|---|---|---|
| الطلبات القصيرة | النص الأقل يترك مجالا أقل للتباين الطبيعي الذي يفصل إيقاع الإنسان عن إيقاع الآلة | الدرجات في الوثائق القصيرة تتقلب أكثر بفعل بضعة جمل غير مألوفة |
| الكتابة الصيغية أو الخاصة بالتخصص | عرف النوع الأدبي يكافئ العبارة المتوقعة أكثر من العبارة المبتكرة | 14,400 ملخصا لمقالات قبل ChatGPT من 1980 إلى 2023 ما زالت تثير ما يصل إلى 8% من الإيجابيات الكاذبة, وبلغت ملخصات إحدى المجلات 10.24% |
| المسودات التي جرى تحريرها بكثافة أو إعادة صياغتها | تمريرة الصقل تزيل المخالفات الفردية التي يقرأها الكاشف بوصفها بشرية | وجدت مقارنة مستقلة بين 14 أداة أن الدقة انخفضت أكثر بعد إعادة الصياغة أو الترجمة الآلية |
| المواد المقتبسة أو المبنية على قوالب | المقطع المقتبس يحمل البصمة الإحصائية لمصدره, لا بصمة الكاتب الذي يستشهد به | الكواشف التي لا تستبعد الاقتباسات تقيم الوثيقة المحيطة على أساس نص مستعار |
لماذا يسيء كاشفو الذكاء الاصطناعي تصنيف المتحدثين بالإنجليزية من غير الناطقين بها؟
بشكل سيئ, وبفارق واسع. ذلك هو استنتاج الدراسة التي كانت أول من وضع له رقما. أجرى باحثون من Stanford اختبارات على سبعة كواشف GPT مستخدمة على نطاق واسع مقابل 91 مقالة TOEFL كتبها متحدثون بالإنجليزية من غير الناطقين بها و88 مقالة كتبها تلاميذ الصف الثامن في الولايات المتحدة. قرأ الكواشف مقالات الصف الثامن قراءة صحيحة في كل مرة تقريبا. أما مقالات TOEFL, التي كتبها بالغون كانوا متمكنين بما يكفي لتقديم اختبار إنجليزية على مستوى الدراسات العليا, فقد بلغ متوسط معدل الإيجابيات الكاذبة لدى الكواشف 61.3 percent. وقد وسم 89 من أصل 91 مقالة على أنها مولدة بواسطة GPT بواسطة واحد على الأقل من الكواشف السبعة, ووسم 18 من تلك المقالات بواسطة الكواشف السبعة جميعا.
الآلية هي نفسها التي تحكم بقية الكشف: المفردات المتوقعة وبنية الجمل الأبسط تُقرأ على أنها انخفاض في الارتباك، والانخفاض في الارتباك يُقرأ على أنه مصنوع آليًا، بغض النظر عمّن يمسك القلم. الكتّاب الذين يعملون بلغة ثانية يعتمدون على الصياغات الراسخة لأن هذا هو ما تبدو عليه الطلاقة في لغة إضافية فعلاً، وهذا هو بالضبط النمط الذي صُمم الكاشف للإشارة إليه.
الكتّاب في هذا الوضع لا يفيدهم كثيرًا أن يُنصحوا ببساطة بالكتابة على نحو أكثر طبيعية، لأن الطبيعي هو بالضبط ما جرى الإشارة إليه. تغطي صفحة TextPulse الخاصة بـ الكتّاب الأكاديميين في ESL أنماط الصياغة الكامنة وراء هذا الخطر بمزيد من التفصيل، بما في ذلك ما الذي يغيّرها من دون تغيير معنى الجملة.
لم تكن هذه حالة معزولة. في ديسمبر 2025، صدر معيار جديد صُمم صراحة لتقييم التحيز في هذه الكواشف. وقد تضمن أكثر من 200,000 عينة عبر عدة فئات ديموغرافية ولغات. وعلى الرغم من أنه جاء بعد عامين من الدراسة الأولى لـ Stanford، وتضمن العديد من الإصدارات النموذجية المختلفة للكواشف نفسها، كشف هذا المعيار أن التحيز ضد متعلمي اللغة الإنجليزية لا يزال قائمًا.
هذا لا ينطبق على جميع البائعين. تنص الوثائق التقنية الخاصة بـ Pangram على أن مصنفها ليس متحيزًا ضد متحدثي الإنجليزية غير الأصليين. لم يختبر باحثو Chicago Booth هذا الادعاء بشكل مستقل، لكنه يبيّن أن الجيل الأحدث من الكواشف يُبنى مع أخذ المشكلة في الحسبان بدلًا من تجاهلها.
إذا أردت أن ترى موقع كتابتك أنت قبل أن يمنحها أي شخص آخر درجة، فإن أداة مجانية لفحص الارتباك تمنحك الرقم الأساسي نفسه الذي سيحسبه الكاشف، من دون إرسال أي شيء إلى مؤسسة أولًا.
من غيره يجري الإشارة إليه، ولماذا
يتحمل المتحدثون غير الأصليين للإنجليزية أكبر خطر موثق، لكن المنطق الإحصائي نفسه يلتقط أنماط كتابة أخرى أيضاً. وجدت مجموعة Weber-Wulff أن جميع الأدوات الـ 14 التي اختبروها كانت أقل دقة عندما شغلوها على نصوص معاد صياغتها، وهذا يصف جزءاً ذا شأن من الكتابة الأكاديمية التي مرّت على مدقق لغوي، أو محرر، أو قلم أحمر لمشرف قبل أن يشغّل أي شخص كاشفاً عليها.
لا يعني أي من هذا أن الرقم بلا معنى، بل يعني فقط أنه يحتاج إلى تأكيد قبل أن يدل على أي شيء يتعلق بشخص بعينه. إذا كان لديك نص يبدو متجانساً، بأطوال جمل متشابهة، وإيقاع متشابه في جميع أجزائه، فسيسجل على أنه أقرب إلى النص الآلي، بغض النظر عن كاتبه أو السبب. ويمكن التحقق من ذلك مباشرة باستخدام free burstiness checker بدلاً من التخمين.
تواجه مجموعة ثانية، أقل مناقشة، مشكلة ذات صلة. قارن الباحثون نحو 60,000 منشور على Reddit، مقسمة بين مجموعة فرعية حُددت على أنها على الأرجح مكتوبة من قبل مؤلفين من ذوي التوحد وعينة عامة، وأخضعوا المجموعتين معاً لكاشف قائم على GPT-2. بقيت كلتا المجموعتين دون 2 percent من حيث الوسم إجمالاً، لكن المجموعة الفرعية المرجح أنها كتبها مؤلفون من ذوي التوحد وُسمت بمعدل أعلى بشكل ملحوظ من العينة العامة. إن الكتابة التي تميل إلى الصياغة الحرفية، المتكررة، المحكمة النمط، وهي سمة موثقة لبعض أنماط التواصل لدى ذوي التوحد، تنتج بالضبط النص قليل التباين الذي صُمم الكاشف لالتقاطه.
لماذا لا تعني الدرجة الواثقة اتهاماً واثقاً
يبدو أن معدل الإيجابيات الكاذبة يشير إلى احتمال أن يكون طالب واحد وُسم على أنه مشكلة بريئاً. لكن لا. إنه يصف كيفية عمل الاختبار مع الجميع الذين يخضعون له. وهذان سؤالان مختلفان لهما إجابات مختلفة، تماماً كما هو الحال مع أي اختبار تحرٍ في الطب أو الأمن.
يُظهر تحليل إحصائي من مارس 2026 أجراه باحث في Griffith University الرياضيات الكامنة بوضوح. إذا عومل كشف الذكاء الاصطناعي بوصفه اختبارًا يُطبَّق على جماعة من الكتّاب الطلاب بدلًا من وثيقة منفردة معزولة، تظهر مفاضلة: كلما كتب بعض أفراد تلك الجماعة بطريقة تتداخل طبيعيًا مع المخرجات المعتادة للذكاء الاصطناعي، وبالقرب من الأعراف النوعية، وبالقرب من نطاق متعلم اللغة الثانية، فإن أي كاشف يمتلك قدرة حقيقية على التقاط العمل المكتوب بالذكاء الاصطناعي لا بد أن يخطئ مع بعض ذلك الجزء المتداخل. هذا ليس ادعاءً بأن كاشفًا بعينه سيئ البناء. إنه خاصية لاختبار جماعة متنوعة بوثيقة واحدة ومن دون أي دليل آخر.
ويُظهر المثال التوضيحي نفسه في الورقة حجم المسألة. افترض أن 10 percent من جماعة طلابية يكتبون على نحو قريب بما يكفي من المخرجات المعتادة للذكاء الاصطناعي، وأن كاشفًا مضبوطًا لالتقاط 80 percent من العمل المكتوب بالذكاء الاصطناعي فعليًا. عندئذٍ تقتضي الرياضيات معدلًا متوسطًا للإيجابيات الكاذبة لا يقل عن 7.5 percent عبر تلك الجماعة. وهذا ليس خللًا في هندسة الكاشف، بل نتيجة مباشرة لمدى التداخل الإحصائي بين كتابة تلك الجماعة وبين الشيء الجاري كشفه.
وعند التوسيع إلى جامعة تضم 10,000 طالب، فإن هذا الحد الأدنى وحده يعني نحو 750 إشارة خاطئة عبر الجماعة، وهو أثر رياضي لاختبار جماعة متنوعة مقابل وثيقة واحدة من دون أي دليل آخر يمكن الموازنة به. ويصرّح مؤلف الورقة بأن هذه الأرقام بعينها توضيحية لا مقاسة في مؤسسة حقيقية. ويُظهر المثال شكل المشكلة لا تنبؤًا محددًا لأي حرم جامعي بعينه.
كيف تبدو سياسة كشف الذكاء الاصطناعي القابلة للدفاع عنها
كانت لدى Yale بالفعل سياسة يُقال إنها تقيد أدوات مثل GPTZero، وذلك لأسباب تكاد تطابق ما عرضه هذا المقال: معدل إيجابيات كاذبة موثق، وانحياز موثق ضد الكتّاب غير الناطقين بالإنجليزية. لذا فهذه ليست بقدر ما هي قصة طالب واحد سيئ الحظ، بل قصة قاعدة قائمة لم يُلتزم بها. وعندما تطبق السياسة فعلًا الفرق بين الدرجة والحكم، تصبح الدرجة مدخلًا واحدًا لا حكمًا نهائيًا.
- تعامل مع الدرجة بوصفها مدخلاً واحداً، لا بوصفها الأساس الوحيد لإثبات سوء السلوك
- أفصح للطلاب عن معدل الإيجابيات الكاذبة المنشور للأداة قبل استخدامها ضدهم
- طبّق حذراً إضافياً على التسليمات القصيرة والكتابة بالإنجليزية لغير الناطقين بها، وهما نقطتا ضعف موثقتان
- اضمن مساراً للاستئناف لا يتطلب دحض إحصائية
لا شيء في هذا استثنائي. إنه أقرب إلى الطريقة التي ينبغي أن يُعامل بها أي دليل جنائي منفرد في أي سياق آخر: مفيد، قابل للتحقق، ولا يكفي أبداً بذاته.
بالنسبة إلى كاتب فردي، ينطبق المبدأ نفسه قبل أن توجد درجة، لا بعدها. إن رقماً واحداً، من أي أداة، هو تقدير لا حكم نهائي، والتعامل معه بوصفه يقيناً في أي اتجاه، آمناً أو مكشوفاً، يطلب من الرقم أكثر مما يستطيع أن يدعمه.
تقرير أداة AI humanizer tool الخاصة بـ TextPulse نفسها عن Human Score يستند إلى المنطق نفسه: تقدير محسوب من نصك أنت، لا حكم كاشف عليه، وهو مفيد بوصفه إشارة إلى كيفية قراءة المسودة في الوقت الحالي، لا بوصفه وعداً بشأن ما ستقوله أي أداة كشف بعينها.
تنقسم مسألة الدقة إلى مسائل أضيق، لكل منها صفحتها الخاصة. تُغطى الأدلة المحددة بشأن معدل الإيجابيات الكاذبة في Turnitin وبشأن دقة ZeroGPT على نحو منفصل. إذا كانت درجة ما قد استُخدمت ضدك بالفعل، فهناك مواد عملية عن ما الذي ينبغي فعله عندما تُتهم باستخدام AI، وعن الأدلة التي يمكنك جمعها من أجل إثبات أنك لم تستخدم AI، وعن كتابة رسالة استئناف تجيب عن الدرجة وفق شروطها هي.
سيظل الرقم في أي تقرير يتغير مع إعادة البائعين تدريب نماذجهم ومع استمرار الباحثين في اختبارها على حالات أصعب. لكن ما لا ينبغي أن يتغير هو العادة الكامنة تحته: اقرأ الدرجة بوصفها قياساً واحداً من بين عدة قياسات، واسأل عن الفئة السكانية التي جرى التحقق من صحتها عليها، واسأل عما لا يقوله البائع عن الحالات التي لا يزال يخطئ فيها.
الأسئلة الشائعة
نعم. وجدت Weber-Wulff وزملاؤها أن أدوات كشف الذكاء الاصطناعي «ليست دقيقة ولا موثوقة» في مقارنة أجريت عام 2023، ويواجه الكتّاب غير الناطقين بالإنجليزية أعلى خطر موثق، إذ وجدت إحدى الدراسات متوسط معدل إيجابيات كاذبة يزيد على 60% في مقالات TOEFL. إن درجة واحدة ليست دليلا على أي شيء بحد ذاتها، ولهذا لا ينبغي أبدا أن تكون الدليل الوحيد وراء الاتهام.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.