معدل الإيجابية الكاذبة في Turnitin: ما الذي تقوله الأرقام

إن معدل الإيجابيات الكاذبة لدى Turnitin ليس رقمًا واحدًا. تنشر الشركة رقمين: رقمًا يقل عن 1% على مستوى المستند، وآخر يقترب من 4% على مستوى الجملة. كلاهما حقيقي، وكلاهما منشور، ولا يوضح أي منهما بمفرده الكثير عن الورقة المحددة الموضوعة أمام أستاذ محدد.

إن الفجوة بين الرقمين، وما يحدث عندما يُطبَّق أي منهما على فصل دراسي فعلي بدلًا من مستند واحد، هي ما تتناوله هذه المقالة: ما الذي تنص عليه Turnitin نفسها، وما الذي يغطيه الرقمان فعليًا، والحساب الذي يحول جزءًا من المئة إلى عدد حقيقي من الطلاب.

ما معدل الإيجابيات الكاذبة لدى Turnitin، وفقًا لـ Turnitin؟

على مستوى المستند، وبحسب كلمات الشركة نفسها: "Our document false positive rate, incorrectly identifying fully human-written text as AI-generated within a document, is less than 1% for documents with 20% or more AI writing." هذا الشرط لا يقل أهمية عن الرقم. فالرقم الأقل من 1% ليس ادعاءً بشأن كل ورقة تقيمها Turnitin. إنه يصف فقط المجموعة الفرعية من الأوراق التي تجاوزت بالفعل عتبة 20% من الكتابة المولدة بالذكاء الاصطناعي في تقدير النموذج نفسه.

على مستوى الجملة، حيث تبرز الواجهة أسطرًا فردية بدلًا من مستند كامل، يرتفع رقم Turnitin الخاص بها إلى نحو أربعة أضعاف. "Our sentence-level false positive rate is around 4%," كما تقول الشركة. "There is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written." وتضيف Turnitin أن هذه الجمل الخاطئة لا تتناثر عشوائيًا: ففي 54% من الحالات، تكون الجملة الموسومة خطأً ملاصقة مباشرة لكتابة حقيقية مولدة بالذكاء الاصطناعي، وهو ما تقدمه الشركة بوصفه جزءًا من السبب الذي يجعل الدرجة على مستوى المستند الكامل تميل إلى الصمود أفضل من أي سطر واحد مبرز.

مستوى المستند ومستوى الجملة ليسا الادعاء نفسه

هذا الانقسام ذو المستويين هو صياغة محدثة للرسالة، وليس الموقف الأصلي لـ Turnitin. عند الإطلاق في أبريل 2023، نشرت الشركة رقماً واحداً أقل من 1% من دون أي تمييز بين المستند والجملة. وبعد أن بدأت المؤسسات تستشهد بذلك الرقم، وبعد أن أفادت الصحافة التعليمية بوجود إيجابيات كاذبة في الواقع أعلى مما كان متوقعاً، نشر كبير مسؤولي المنتجات في Turnitin التفصيل المستخدم أعلاه، إلى جانب تغييرين في المنتج أُجريا استجابة لذلك: رفع الحد الأدنى لطول المستند القابل للتقييم من 150 إلى 300 كلمة، وتغيير طريقة احتساب الجمل الأولى والأخيرة في المستند.

يوجد الحد الأدنى البالغ 300 كلمة لسبب مرتبط بذلك. فقد رفعت Turnitin هذا الحد من الحد الأدنى الأصلي البالغ 150 كلمة بعد أن وجدت، بحسب تعبير الشركة نفسه، أن الدقة تزداد مع زيادة النص. إن تقديماً قصيراً، أو تأملاً من صفحة واحدة، أو مسودة جزئية، أو منشور نقاش، يمنح النموذج إشارات أقل ليعمل عليها مما كانت تُقاس عليه أرقام الإيجابيات الكاذبة المذكورة أعلاه، وهذا جزء من سبب عدم حصول أي شيء دون هذا الحد الأدنى على درجة AI إطلاقاً، بدلاً من درجة غير موثوقة.

المستوى	المعدل المعلن من Turnitin	ما الذي يشمله فعلياً
على مستوى المستند	أقل من 1%	فقط المستندات التي وُسمت مسبقاً بأنها مكتوبة بالذكاء الاصطناعي بنسبة 20% أو أكثر، أي النسبة الإجمالية للمستند كله
على مستوى الجملة	حوالي 4%	أي جملة منفردة يجري تمييزها داخل تقرير الكتابة بالذكاء الاصطناعي، بغض النظر عن الدرجة الإجمالية للمستند
أقل من عتبة 20% للمستند	لا يظهر رقم	تعرض Turnitin علامة نجمة بدلاً من نسبة مئوية، للدلالة على أن النتيجة أقل موثوقية عند ذلك النطاق

الحساب: ماذا يعني جزء من نسبة مئوية بالنسبة إلى مجموعة حقيقية

أُجري الحساب علنًا عندما حسبت Vanderbilt University معدلات الخطأ المرتبطة بكشف Turnitin للذكاء الاصطناعي في أغسطس 2023. وأفضل مثال على كيفية إجراء هذا الحساب هو الحساب الذي قامت به Vanderbilt للأرقام نفسها. وفي تدوينة عن قرارها إيقاف كاشف الذكاء الاصطناعي الخاص بـ Turnitin، أشارت إلى أنه "[i]n 2022 we submitted around 75,000 papers to Turnitin, which means that Turnitin's stated 1 percent false positive rate means around 750 student papers could have been incorrectly labeled as having some of it written by AI."

ذلك الرقم هو استقراء أجرته Vanderbilt نفسها انطلاقًا من الرقم المنشور لدى المورّد وتطبيقه على حجمها هي، وليس نتيجة مقاسة على نحو مستقل. وتمتد بنية الحساب إلى ما هو أبعد من عدد طلاب جامعة واحدة. فمعدل أقل من 1 percent، إذا طُبِّق على بضع مئات من الأوراق، ينتج عنه عدد قليل من الطلاب الذين وُسِموا خطأً، وهو أمر يسهل إغفاله. أما المعدل نفسه، إذا طُبِّق على عشرات الآلاف من الأوراق، وهو النطاق الذي تقدمه جامعة فعلية كل عام، فينتج عنه مئات بدلًا من عدد قليل، لأن نسبة صغيرة وسكانًا كبيرة يجري ضربهما معًا بدلًا من النظر إليهما على نحو منفصل.

ولا يثبت أيٌّ من ذلك أن المعدل في العالم الواقعي يطابق رقم المختبر تمامًا. وقد أقر chief product officer لدى Turnitin علنًا بأن النتائج في العالم الواقعي تختلف عن الاختبار المخبري، وهو جزء من سبب مراجعة الشركة لرسائلها من الأساس. ويتعامل الحساب أعلاه مع الرقم الذي أعلنته Turnitin نفسها بوصفه مدخلًا يستحق أن يؤخذ على محمل الجد، لا بوصفه حدًا أقصى لما يحدث فعليًا عندما تكون الأداة بصدد تقييم تسليمات لا تشبه إطلاقًا معيارًا مرجعيًا منتقى بعناية.

ما الذي لا يغطيه المعدل

النتيجة التي تقل عن عتبة 20 percent لا يُلحق بها percentage صغير. بل توضع علامة نجمة بدلًا من رقم، وهو اختيار اتخذه Turnitin لأن هذا النطاق هو الأقل موثوقية للأداة في كلا الاتجاهين، وهو ما تؤكده تقارير مستقلة في الصحافة التعليمية إلى جانب الصياغة الخاصة بالشركة نفسها التي تشير إلى انخفاض الثقة في ذلك النطاق. وقد يؤدي تعديل خفيف، مثل مراجعة فقرة واحدة بمساعدة وكتابة الباقي دون مساعدة، إلى عدم ظهور أي score مرئي على الإطلاق بدلًا من score صغير، ومن المفيد معرفة ذلك قبل أن يُقرأ رقم مفقود بوصفه اتهامًا أو شهادة براءة كاملة. يغطي دليل TextPulse حول ما يُعد score جيدًا في Turnitin هذا الحد نفسه من جهة القارئ للتقرير.

فكيف ينبغي قراءة معدل الإيجابيات الكاذبة المنشور؟

ينبغي قراءته بوصفه رقمًا يقدمه مزود الخدمة عن حالة أضيق مما يبدو أنه يصفه أولًا، لا بوصفه حكمًا على الورقة الموضوعة أمام أستاذ بعينه. ويصوغ Turnitin مخرجاته الخاصة بالطريقة نفسها, إذ تذكر الشركة صراحة أن تقنية الكشف عن الكتابة بالذكاء الاصطناعي لا تقدم "تحديدًا لسوء السلوك"، بل "بيانات للمعلمين لاتخاذ قرار مستنير". كما أن الأدلة الأوسع المتعلقة بما إذا كانت كواشف الذكاء الاصطناعي دقيقة أصلًا تؤيد القراءة نفسها: فالمعدل المنشور يصف معيارًا مرجعيًا، لا المستند الذي يجري تقييمه حاليًا.

يمكن للكتاب الذين يريدون معرفة موضع مسودتهم ضمن النوع نفسه من القياس الإحصائي، بدلًا من التخمين، أن يفحصوه مباشرة باستخدام free perplexity checker قبل أن يصل أي جزء منه إلى كاشف المؤسسة. وهذا استخدام مختلف للتقنية عن محاولة الجدال مع score بعد وقوعه، وهو الموضع الوحيد الذي يطّلع فيه الكاتب، لا المسؤول الإداري، على الرقم أولًا.

تُفحص دقة ZeroGPT على نحو منفصل لمن تستخدم مؤسسته ذلك بدلًا منه. أما الفئة التي تقع عليها هذه الأخطاء بأشد صورة، الكتاب غير الناطقين بالإنجليزية كلغة أم، فلها صفحة خاصة بها.

الفئة السكانية الأكثر تعرضًا لهذه الحسابات ليست موزعة بالتساوي أيضًا. الكتّاب غير الناطقين بالإنجليزية يتحملون أكبر خطر موثق للوقوع في الجانب الخطأ من أي من هذه النسب المئوية، وهو بالضبط الجمهور الذي بُنيت حوله صفحة TextPulse للكتّاب الأكاديميين متعلمي الإنجليزية كلغة ثانية. سيواصل Turnitin تنقيح هذه الأرقام كلما أعاد تدريب نموذجه. وما لن يتغير هو الحساب نفسه: معدل صغير إلى هذا الحد لا يزال يحتاج إلى فئة سكانية كبيرة إلى هذا الحد لكي يختفي داخلها، ومعظم التسليمات الحقيقية ليست بهذه الحظوة.