الإنذارات الكاذبة في كاشف الذكاء الاصطناعي: لماذا يُوسَم النص البشري

في 1982، نشرت New England Journal of Medicine ورقة عن الفيروس المضخم للخلايا لدى مرضى زرع نخاع العظم. وقد اجتازت مراجعة الأقران وبقيت في الأرشيف أربعة عقود. في 2023، أجرى باحثون عليها اختبار كاشف كتابة بالذكاء الاصطناعي كانت OpenAI قد أتاحته للعامة، وصنّفتها الأداة على أنها محتملة التوليد بالذكاء الاصطناعي بنسبة 99.96 percent، أي قبل سبعة وثلاثين عامًا من وجود النموذج الذي يُفترض أنها كُتبت به. هذه هي النتيجة الإيجابية الكاذبة لكاشف الذكاء الاصطناعي في أنقى صورها: وثيقة وُسمت على أنها مكتوبة آليًا، مع أنها لا يمكن أن تكون مكتوبة آليًا بأي حال.

لا تكمن فرادة هذا المثال إلا في توقيته. أما النمط الكامن، وهو أن يقرأ الكاشف نثرًا صيغته نمطية وقابلة للتنبؤ على أنه مصنوع آليًا بغض النظر عمّن كتبه أو متى كُتب، فيظهر باستمرار في التسليمات العادية: المقالات، وخطابات التقديم، وتقارير المختبر، والبيانات الشخصية. يتناول هذا النص ما الذي يسبب النتيجة الإيجابية الكاذبة، وأي أنواع الكتابة تكون أكثر عرضة لها، ولماذا لا تكون درجة واحدة موسومة هي الدليل الذي تبدو عليه.

ما النتيجة الإيجابية الكاذبة لكاشف الذكاء الاصطناعي؟

النتيجة الإيجابية الكاذبة لكاشف الذكاء الاصطناعي هي نص كتبه إنسان وتمنحه أداة الكشف درجة على أنه مولد بالذكاء الاصطناعي. لا يجري قياس أي شيء يتعلق بعملية الكاتب، أو أمانته، أو مهارته. تقارن الأداة الشكل الإحصائي للجملة، ومدى قابلية اختيار الكلمات والبنية للتنبؤ، بالشكل الذي تعلمت ربطه بالمخرجات الآلية.

تذكر الجهات الموردة معدلات النتائج الإيجابية الكاذبة على أنها نسبة صغيرة واحدة، عادة أقل من واحد أو اثنين percent. تصف هذه النسبة اختبارًا مضبوطًا على معيار قياسي أنشأته الجهة الموردة، لا ضمانًا بشأن أي وثيقة بعينها. وقد اختُبر بالفعل بشكل مستقل السؤال الأوسع المتعلق بـ ما إذا كانت كواشف الذكاء الاصطناعي دقيقة أصلًا، وجاءت النتائج في مكان آخر تمامًا، وأحيانًا أعلى بكثير من أي رقم تذكره الجهة الموردة. يظل هذا النص أضيق نطاقًا: أي أنواع الكتابة ترفع ذلك الخطر، وماذا يمكن لدرجة موسومة أن تخبر أي شخص، وماذا لا يمكنها أن تخبره.

ما السمات الكتابية التي تجعل النص البشري يبدو مصنوعًا آليًا

تحمل أربعة أنواع من الكتابة العادية أكبر قدر من المخاطر، ولا ينطوي أي منها على قيام شخص بأي خطأ. تميل الوثائق القصيرة، والكتابة شديدة الصياغة النمطية، والمواد المقتبسة أو المعتمدة على القوالب، والكتابة التي جرى تدقيقها بعناية شديدة، إلى أن تسجل بوصفها أكثر قابلية للتنبؤ من النثر المؤلف بحرية، وهذه هي الخاصية الوحيدة التي تقيسها كل أداة كشف فعليًا. يقيس free burstiness checker هذا التباين نفسه مباشرة، وهو طريقة أسرع لرؤية النمط من قراءة وصف له.

بعض الأنواع الأدبية نمطية بحكم التصميم. فقسم المنهجية، وتقرير المختبر، وخطاب التغطية القياسي، والمراجعة الأدبية، كلها تكافئ العبارة التقليدية أكثر من العبارة المبتكرة، لأن العرف هو ما يجعل الوثيقة قابلة للاستخدام لدى قارئها. وقد اختبر الباحثون هذا مباشرة على كتابة حقيقية: إذ مرروا 14,400 ملخصًا لمجلات نُشر بين 1980 و2023، أي قبل سنوات من وجود أي نموذج لغوي كبير، عبر أداة كشف متاحة للعامة. وصُنِّف ما يصل إلى 8 percent منها على أنها مولدة بواسطة AI، بغض النظر عن سنة النشر، وصُنِّفت ملخصات New England Journal of Medicine بنسبة 10.24 percent، وهي أعلى نسبة إيجابية كاذبة بين المجلات الخمس التي جرى اختبارها.

ما كان يمكن للاختبار أن يكشف أي شيء يتعلق بـ ChatGPT، لأن ChatGPT لم يكن موجودًا خلال معظم السنوات التي شملها العينة. لقد كشف النوع الأدبي. وبصياغة أكثر رسمية، كما ستقررها 2026's statistical analysis of the detection problem، لا توجد طريقة لبناء أداة كشف تميز بين جملة يمكن التنبؤ بها لأنها كُتبت بواسطة برنامج، وجملة يمكن التنبؤ بها لأنها من النوع الذي تكتبه في هذا الجنس الأدبي. إنهما تبدوان متطابقتين تمامًا من الخارج.

التحرير المكثف يدفع في اتجاه مشابه. تحمل المسودة الأولى خصائص عدم انتظام خاصة بالكاتب: ترتيب الكلمات غير المألوف، والجملة التي تطول لأن الفكرة طالت. تميل عملية التدقيق اللغوي الشاملة، ولا سيما إذا أُجريت عبر أداة أخرى، إلى تسوية هذه الخصائص نفسها وإزالتها. وقد اختبرت أكبر مقارنة مستقلة لأدوات الكشف حتى الآن 14 أداة منها، ووجدت أن الدقة انخفضت أكثر، في كل أداة، بعد أن أُعيدت صياغة النص العينة أو تُرجم آليًا.

سمة الكتابة	سبب خفضها لدرجة عدم التنبؤ الظاهرة في الوثيقة	ما الذي تُظهره الأدلة
الطلبات القصيرة	النص الأقصر يترك مجالًا أقل للتباين الطبيعي الذي يميز الإيقاع البشري عن الإيقاع الآلي	تتقلب الدرجات في الوثائق القصيرة أكثر بفعل بضع جمل غير مألوفة
الكتابة الصيغية أو الخاصة بالتخصص	تُكافئ أعراف النوع الصيغة المتوقعة أكثر من الصيغة المبتكرة	لا تزال 14,400 ملخصًا لمجلات سابقة لـChatGPT, من 1980 إلى 2023, تُطلق ما يصل إلى 8% من الإيجابيات الكاذبة, وبلغت ملخصات إحدى المجلات 10.24%
المسودات التي خضعت لتحرير مكثف أو لإعادة الصياغة	تعمل عملية الصقل على تسوية عدم الانتظام الفردي الذي تقرؤه الأداة بوصفه سمة بشرية	وجدت مقارنة مستقلة بين 14 أداة أن الدقة انخفضت أكثر بعد إعادة الصياغة أو الترجمة الآلية
المواد المقتبسة أو المعتمدة على القوالب	تحمل الفقرة المقتبسة بصمتها الإحصائية من المصدر، لا من الكاتب الذي يستشهد بها	الأدوات التي لا تستبعد الاقتباسات تُقيّم الوثيقة المحيطة على أساس النص المستعار

لماذا لا تتطابق المعدلات المنشورة مع المعدلات في العالم الواقعي

تنشر كل أداة كشف رئيسية معدل إيجابيات كاذبة يقارب 1% أو أقل. أما الاختبارات المستقلة للأدوات نفسها، التي تُجرى على وثائق مختلفة وتحت ظروف مختلفة، فتذكر بانتظام رقمًا أعلى بكثير، وأحيانًا بمقدار عشرة أضعاف أو أكثر. ويمكن أن يكون الرقمان صحيحين معًا، ومع ذلك لا يصفان تقريبًا أي شيء مشترك، لأنهما لا يقيسان الشيء نفسه.

يُعد Turnitin مثالًا مفيدًا على وجه التحديد لأنه ينشر قدرًا من التفاصيل أكثر من معظم المنافسين: معدل إيجابيات كاذبة أقل من 1 percent على مستوى المستند، بشرط أن يكون أكثر من 20 percent من التسليم موسومًا على أنه مكتوب بواسطة AI، إلى جانب بيان من الشركة يفيد بأن النتائج في العالم الواقعي تختلف عن اختبارها المخبري الخاص. أجرت The Washington Post في 2023 تمرير 16 مستندًا حقيقيًا عبر الأداة نفسها، ووجدت أن أكثر من النصف عاد على نحوٍ خاطئ جزئيًا على الأقل، بما في ذلك مقال واحد مكتوب بالكامل بواسطة إنسان وُسم على أنه مولد جزئيًا بواسطة AI. لا يُختلق أيٌّ من الرقمين. فهما يأتيان من عينات مختلفة، وعتبات مختلفة، وتعريفات مختلفة لما يُعد وسمًا.

وتظهر الفجوة نفسها عبر الصناعة، وليس لدى شركة واحدة فقط. وقد وجدت تلك المقارنة بين 14 أداة أن كل واحدة منها جاءت دون 80 percent من الدقة إجمالًا، وأن 6 من أصل 14 أداة أصدرت إيجابية كاذبة على كتابة بشرية غير معدلة قبل أن يدخل أي إعادة صياغة في الصورة. الرقم المنشور يصف معيارًا مرجعيًا. ولا يصف المستند الموجود الآن أمام الأستاذ.

لماذا لا تعني الدرجة الواثقة اتهامًا واثقًا

يبدو أن معدل الإيجابيات الكاذبة يشير إلى احتمال أن يكون طالب واحد وُسم على أنه مشكلة بريئًا. لكن لا. إنه يصف كيفية عمل الاختبار مع الجميع الذين يخضعون له. وهما سؤالان مختلفان لهما إجابتان مختلفتان، تمامًا كما هو الحال مع أي اختبار تحرٍ في الطب أو الأمن.

إن تحليلًا إحصائيًا في March 2026 من باحث في Griffith University يجعل الرياضيات الكامنة صريحة. إذا عومل كشف AI على أنه اختبار يُطبَّق على مجموعة من الكتّاب الطلاب بدلًا من مستند منفرد معزول، تظهر مفاضلة: فكلما كتب بعض أفراد تلك المجموعة بطريقة تتداخل طبيعيًا مع المخرجات النموذجية لـ AI، أو تقترب من أعراف النوع، أو تقترب من نطاق متعلم اللغة الثانية، فإن أي كاشف يمتلك قدرة حقيقية على التقاط العمل المكتوب بواسطة AI لا بد أن يخطئ مع بعض من تلك الشريحة المتداخلة. هذا ليس ادعاءً بأن كاشفًا معينًا سيئ البناء. إنه خاصية لاختبار مجموعة متنوعة بمستند واحد ومن دون أي دليل آخر.

يوضح المثال التوضيحي نفسه في الورقة حجم المسألة. افترض أن 10 percent من مجتمع طلابي يكتب بطريقة تقترب بما يكفي من المخرجات النموذجية لـ AI، وأن أداة الكشف مضبوطة لالتقاط 80 percent من الأعمال المكتوبة فعليًا بواسطة AI. عندئذٍ تقتضي الرياضيات أن يكون معدل الإيجابيات الكاذبة المتوسط 7.5 percent على الأقل عبر ذلك المجتمع. وهذا ليس خللًا في هندسة أداة الكشف، بل هو نتيجة مباشرة لمدى التداخل الإحصائي بين كتابة تلك المجموعة وبين الشيء الذي يجري اكتشافه.

وعند تطبيق ذلك على جامعة تضم 10,000 طالب، فإن هذا الحد الأدنى وحده يعني نحو 750 إشارة خاطئة عبر المجتمع، وهو أثر رياضي لاختبار مجتمع متنوع مقابل مستند واحد من دون أي أدلة أخرى للموازنة. ويصر مؤلف الورقة على أن هذه الأرقام بعينها توضيحية وليست مقاسة في مؤسسة حقيقية. يبيّن المثال شكل المشكلة لا تنبؤًا محددًا لأي حرم جامعي بعينه.

ولا يعني شيء من هذا أن النتيجة الموسومة بلا معنى. بل يعني أن هذه النتيجة ليست سوى إشارة ضعيفة على مستوى المجتمع يُطلب منها الإجابة عن سؤال يتعلق بفرد واحد، وهو عدم تطابق لا يمكن لأي قدر من الصقل الذي يقدمه البائع أن يسده بالكامل بمفرده. والقراءة المسؤولة تتعامل مع الرقم بوصفه دعوة إلى جمع أدلة أفضل: المسودات، وسجل الإصدارات، والأثر الورقي المعتاد لشخص يكتب شيئًا بالفعل. تتيح TextPulse's free tools للكاتب أن يتحقق من موضع المسودة الحالي على هذه القياسات نفسها قبل أن يفعل ذلك أي شخص آخر، وهذا استخدام مختلف للتقنية عن محاولة التغلب على أي أداة كشف بعينها.

أي الكتّاب يواجهون أعلى مستوى من المخاطر

تُظهر الدراسة مجموعتين تبرزان أكثر من غيرهما: الأشخاص الذين يكتبون بلغة ثانية، والأشخاص الذين يميلون بطبيعتهم إلى الكتابة المنظمة جدًا أو المتكررة لأسباب لا علاقة لها بكيفية كتابتهم لمقالهم. يظهر هذان النوعان من الكتّاب على البصمة الإحصائية نفسها التي صُممت أداة الكشف لالتقاطها.

يتحمل غير الناطقين بالإنجليزية أكبر خطر موثق. وقد أظهرت اختبارات مستقلة مرارًا أن الكواشف تسيء قراءة الكتابة الأكاديمية السليمة بلغة ثانية على أنها مولدة آليًا بمعدلات أعلى بكثير من الكتابة الأصلية للناطقين بها. وتتناول صفحة TextPulse للكتاب الأكاديميين متعلمي الإنجليزية كلغة ثانية الآلية الكامنة وراء هذا الخطر بمزيد من التفصيل، بما في ذلك أنماط الصياغة المسؤولة عنه.

وتواجه مجموعة ثانية، أقل تناولًا، مشكلة ذات صلة. فقد قارن الباحثون نحو 60,000 منشور على Reddit، مقسمة بين مجموعة فرعية حُددت على أنها على الأرجح مكتوبة من قبل مؤلفين من ذوي التوحد وعينة عامة، ثم مرروا المجموعتين عبر كاشف قائم على GPT-2. وظلت المجموعتان كلتاهما دون 2 percent من حيث الوسم إجمالًا، لكن المجموعة الفرعية المرجح أنها لذوي التوحد وُسمت بمعدل أعلى بشكل ملحوظ من العينة العامة. إن الكتابة التي تميل إلى الصياغة الحرفية، المتكررة، والمضبوطة النمط، وهي سمة موثقة لبعض أنماط التواصل لدى ذوي التوحد، تنتج بالضبط النص منخفض التنوع الذي صُمم الكاشف لاكتشافه.

ينشر بائعان ما يكفي للتحقق من الادعاء. وتُعرض معدل الإيجابيات الكاذبة لدى Turnitin نفسه على حدة، كما تُفحص دقة ZeroGPT في صفحتها الخاصة. أما من تقع عليهم هذه الأخطاء بأشد صورة فذلك سؤال منفصل أيضًا، ولدى سبب وسم كتاب الإنجليزية غير الناطقين بها أكثر تكرارًا إجابته الخاصة.

ومن غير المرجح أن يصبح أي من ذلك أبسط قريبًا. فستواصل الكواشف التحسن في التقاط النصوص المكتوبة آليًا بالفعل، وستواصل تنوعات السكان إنتاج معدل من الاتهامات الكاذبة لا يمكن للهندسة الأفضل وحدها أن تغلقه بالكامل. والتحول الأكثر فائدة يحدث بالفعل في بعض المؤسسات، وهو التعامل مع الدرجة بوصفها بداية محادثة لا نهايتها، والسؤال عن الفئة السكانية التي اختُبر عليها المعدل المنشور فعلًا قبل الوثوق بأنه ينطبق على الوثيقة المعروضة أمامهم.