هل يمكن لـ Turnitin اكتشاف النص المعاد صياغته ليبدو بشريًا؟

يجيب Turnitin عن هذا السؤال في موقع الدعم الخاص به، والإجابة أكثر تحديدًا من أيٍّ من طرفي الجدل المعتاد. ويقول Turnitin إن مؤشر الكتابة بالذكاء الاصطناعي لديه، Turnitin says، يتضمن بالفعل اكتشاف المحتوى المولَّد بالذكاء الاصطناعي الذي ربما جرى إضفاء طابع بشري عليه أو تمريره عبر أداة تجاوز لتفادي الاكتشاف. هذا وصف من المورِّد لمنتجه هو نفسه. وهو أيضًا المكان الصحيح للبدء، لأنه يوضح ما يدّعي النموذج أنه يغطيه.

إذن، هل يمكن لـ Turnitin اكتشاف النص الموحَّد بشريًا؟ لهذا السؤال صيغة أضيق وأكثر فائدة. لا يبحث نموذج Turnitin عن بصمة أداة التوحيد البشري، ولا يحتفظ بقائمة أدوات. بل يمنح النثر درجة، جملةً جملة، بحسب مدى اقتراب الكتابة من الأنماط الإحصائية للنص المولَّد آليًا، ثم يحسب متوسط هذه الدرجات عبر المستند. وما إذا كان المقطع الموحَّد بشريًا سيظل يحصل على درجة مرتفعة يعتمد على مقدار ما غيّره إعادة الصياغة من ذلك النمط، وعلى مقدار ما أُعيدت كتابته من المستند أصلًا.

هل يمكن لـ Turnitin اكتشاف النص الموحَّد بشريًا؟ ما الذي يدّعيه Turnitin

موقفهم المنشور هو نعم صريحة. وعند الإجابة عن سؤال ما إذا كان يمكنه اكتشاف المحتوى الذي جرى تمريره عبر أداة توحيد بشري، تنص إرشاداتهم على ما يلي: "Yes, Turnitin's AI indicator includes detection of AI-generated content that may have been humanized or passed through a bypasser to avoid detection." وتقدّم الصفحة نفسها الإجابة نفسها بالنسبة إلى أدوات إعادة الصياغة بالذكاء الاصطناعي.

لا يظهر هذا الادعاء كرقم ثانٍ في مكان ما داخل التقرير. بل يدمجه Turnitin في نسبة الكتابة بالذكاء الاصطناعي الواحدة، ويقول التعريف المنشور لهذه النسبة ذلك صراحة: فهي تشمل النص الذي يحدد النموذج أنه على الأرجح مولَّد بالذكاء الاصطناعي، أو على الأرجح مولَّد ثم عُدِّل بواسطة أداة إعادة صياغة بالذكاء الاصطناعي أو أداة تجاوز. هناك درجة واحدة، وهي بالفعل تأخذ إعادة الصياغة في الحسبان بقدر ما يستطيع النموذج ذلك.

اقرأ بعناية، فهذه عبارة عن التغطية لا عن الدقة. يقول Turnitin إن النص المُؤنسن كان ضمن النطاق عند بناء النموذج. وهذا أبعد ما يكون عن القول إن كل وثيقة مُؤنسنة تحصل على درجة مرتفعة، كما أن أرقامه المنشورة نفسها، في ما يأتي لاحقًا، تصف نموذجًا يعامل الجمل الفردية على أنها غير يقينية.

ما الذي يقيسه مؤشر الكتابة بالذكاء الاصطناعي فعليًا

إنه ليس نسبة مئوية. إنه كسر من النص، ولذلك فهو ليس مستوى ثقة. إنه مقياس لمدى كمية النص داخل وثيقتك التي يعتقد نموذجنا أنها على الأرجح مولدة بواسطة الذكاء الاصطناعي. نطلق عليه النص المؤهل، ويعني ذلك أنه جمل نثرية ضمن صيغة كتابة طويلة. وهو لا يشمل القوائم النقطية أو الشيفرة أو الجداول أو المقاطع القصيرة. ولهذا قد ترى أرقامًا مختلفة للورقة نفسها بحسب مقدار ما فيها من نثر متصل.

الآلية الكامنة تحته بسيطة بما يكفي لتصورها. يقسم Turnitin الوثيقة إلى مقاطع متداخلة من بضع مئات من الكلمات تقريبًا، نحو خمس إلى عشر جمل في كل مقطع، مع تداخل بحيث تُقيَّم كل جملة في سياقها. تتلقى كل جملة قيمة بين 0 و1. ثم تُؤخذ درجات المقاطع على أنها متوسط عبر الوثيقة لإنتاج الرقم الواحد الذي يراه المدرس. ويعرض شرح خطوة بخطوة لـ كيف يكتشف Turnitin الذكاء الاصطناعي كل مرحلة بمزيد من التفصيل.

تلك الخطوة الخاصة بأخذ المتوسط أهم بالنسبة إلى النص المُؤنسن من أي شيء آخر في خط المعالجة، وهي الجزء الذي لا يكاد أحد يحسب حسابه. فالرقم الذي يقرأه المدرس هو متوسط حسابي لأحكام على مستوى المقاطع. ويمكن لوثيقة أُعيدت صياغة نصفها أن تنتهي في موضع متوسط لأسباب لا علاقة لها كثيرًا بمدى جودة إعادة الصياغة.

لماذا قد تحصل المخرجات المُؤنسنة أحيانًا على درجة مرتفعة مع ذلك

السبب الأكثر شيوعًا هو التغطية. إن أداة تحويل النص إلى صياغة بشرية التي تُطبَّق على المقدمة والخاتمة تترك مراجعة الأدبيات والمناقشة من دون تغيير، وتحمل تلك الأجزاء درجاتها الأصلية مباشرة إلى المتوسط. في فصل طويل، يؤدي إعادة كتابة الصفحات الافتتاحية إلى تغيير عدد قليل من الأجزاء ويترك الباقي كما هو تمامًا، وهذا ينتج حركة أصغر مما يتوقعه الكاتب من عمل بدا جوهريًا.

السبب الثاني هو عمق إعادة الصياغة. إن تمريرًا يستبدل المفردات مع الإبقاء على أطوال الجمل وترتيب الجمل الفرعية وخيارات الروابط الانتقالية في مكانها يترك النمط الذي دُرِّب عليه المصنف قائمًا إلى حد كبير. يقيم النموذج شكل النثر، لذا فإن تغيير الكلمات التي تملأ ذلك الشكل يفعل أقل مما يفترضه معظم الناس. سيُظهر free perplexity checker مدى قابلية المقطع للتنبؤ بعد إعادة الصياغة، وهو إشارة أكثر إفادة من مقارنة على مستوى الكلمات بين ما قبل وما بعد.

السبب الثالث هو أن إعادة الصياغة قد تفرض انتظامها الخاص. إن قطعة برمجية تطبق التحويل نفسه على كل فقرة ستنتج نمطًا جديدًا منتظمًا بقدر ما كان النمط القديم منتظمًا. إذا كانت كل جملة تحتوي على النوع نفسه من القطع الوصلي، أو إذا كانت كل جملة تحتوي على النوع نفسه من عبارة التخفيف المضافة في الموضع نفسه، فستُرى تلك الجمل على نحو متساوٍ من قبل المصنف كما لو كانت كلها متساوية الطول في الأصل.

الحالة	ما الذي يفعله مؤشر الذكاء الاصطناعي	السبب
أعيدت كتابة جزء فقط من المستند	ينخفض أقل مما هو متوقع	الأجزاء التي لم تمس تحمل درجاتها الأصلية إلى المتوسط
تغيرت المفردات، مع بقاء بنية الجملة	يتحرك قليلا جدا	يصنف المصنف الأنماط على مستوى الجملة التي أبقاها التبديل في مكانها
أعيدت صياغة الجمل بنية حقيقية في جميع أنحاء النص	يتحرك أكثر	الإيقاع الموحد الذي درب النموذج على التعرف إليه ينكسر
تم تقديم أقل من 300 كلمة من النثر	لا يتولد أي مؤشر على الإطلاق	يتطلب Turnitin 300 كلمة من النثر المؤهل قبل أن يعرض نسبة مئوية
استقرت النتيجة دون 20 percent	نجمة بدلا من رقم	يصنف Turnitin النتائج في هذا النطاق على أنها أقل موثوقية

لماذا تنتج إعادة الصياغة نفسها أحيانا درجة منخفضة

قد يعود المستند الذي جرى إضفاء الطابع البشري عليه بدرجة منخفضة لأسباب لا علاقة لها بإعادة الصياغة. يحتاج Turnitin إلى 300 كلمة على الأقل من النثر المؤهل قبل أن يولد أي نسبة مئوية للذكاء الاصطناعي على الإطلاق، وهو حد أدنى رفعه من 150 كلمة أصلية على أساس معلن مفاده أن الدقة تتحسن مع قدر أكبر قليلا من النص. القطعة التأملية القصيرة لا تنتج رقما، وغياب الدرجة ليس هو نفسه الدرجة النظيفة.

يضع Turnitin نطاقا دون 20 percent مع نجمة بدلا من إعطاء نسبة مئوية دقيقة، لأن هناك معدلا أكبر من الإيجابيات الكاذبة داخل هذا النطاق. وقت الإطلاق، أشارت التقارير التعليمية أيضا إلى هذا السلوك، قائلة إن النتائج التي أبلغ عنها على أنها أقل من 20 percent مكتوبة بالذكاء الاصطناعي كانت لديها نسبة أعلى من الإيجابيات الكاذبة، ولذلك أضاف Turnitin إخلاءات مسؤولية. إن مستندا يقع في ذلك النطاق قد وسمه Turnitin على أنه نطاق يرفض الإبلاغ عنه بدقة، وهذا شيء مختلف عن كونه قد جرى استبعاده.

هناك أيضًا بوابة مؤسسية تعلو كل ذلك. يعالج Turnitin أي تسليم لاكتشاف الكتابة بالذكاء الاصطناعي فقط إذا كانت المؤسسة قد فعّلت هذه الميزة، ويمكن للمسؤولين تعطيلها على مستوى الحساب بالكامل. وقد فعلت Vanderbilt University ذلك بالفعل في أغسطس 2023، مستشهدةً بنسبة الإيجابيات الكاذبة البالغة 1 percent التي نشرها Turnitin آنذاك مقابل نحو 75,000 عملية تسليم سنويًا، والانحياز ضد الكتّاب غير الناطقين بالإنجليزية، وغياب الشفافية بشأن كيفية عمل النموذج. الطالب في مؤسسة أُوقفت فيها هذه الميزة لا يحصل على أي درجة للذكاء الاصطناعي في أي تسليم، سواء أكان مُنسَّنًا أم لا.

وحين تكون إعادة الصياغة بنيوية بالفعل، يمكن أن تنخفض الدرجة لأن النمط المقاس قد تغيّر. يقدّم Turnitin تقديرًا محسوبًا من أنماط الكتابة، لذا فإن النص الذي تختلف أنماطه يحصل على درجة مختلفة. تعمل الآلية في الاتجاهين، وهذا هو الجانب المزعج: فالكتابة البشرية الأصلية أحيانًا تحصل على درجة مرتفعة للسبب نفسه تمامًا.

ما الذي تدّعيه كل جهة مورِّدة لأدوات التأنيس، وما الذي هو موثَّق

تحكم قاعدة واحدة الجدول. العمود الأوسط هو لغة التسويق الخاصة بالجهة المورِّدة نفسها، مأخوذة من موقعها الخاص حيثما كان ذلك الموقع يقدّم واحدة. ويسجّل العمود الأيمن ما الذي يقف فعليًا وراء كل ادعاء، وهو في معظم الحالات لا شيء من قبيل مجموعة بيانات أو تاريخ أو طريقة. لا يوجد اختبار علني مباشر بين هذه العلامات.

العلامة التجارية	ما يدّعيه المورّد	ما هو موثّق
Undetectable.ai	تدرج اجتياز كواشف الذكاء الاصطناعي بوصفه ميزة للمنتج من دون إرفاق رقم، وتعرض رد تكلفة إضفاء الطابع البشري إذا وُسم الناتج بأنه غير بشري	الرد التجاري شرط تعاقدي، ولا توجد مجموعة بيانات أو تاريخ أو نتيجة بحسب كل كاشف تدعم هذا الادعاء
QuillBot	لا تطرح على صفحاتها الخاصة أي ادعاء يتعلق بالكشف أو التجاوز بخصوص ميزة الإضفاء البشري. أما كاشف الذكاء الاصطناعي المنفصل لديها فيوصف فقط بأنه يكشف المحتوى المولّد بالذكاء الاصطناعي	تبيع QuillBot أداة الإضفاء البشري ضمن حزمة كتابة عامة، ولا تورد لها أي ادعاء خاصا بـ Turnitin
WriteHuman	مصنفة في المرتبة الأولى على لوحة صدارة Humanizer Leaderboard، وتوصف بأنها أداة الإضفاء البشري المميزة للكتابة الجادة	لا تذكر لوحة الصدارة أي منهجية أو عينة، ولا ترفق WriteHuman أي رقم دقة بالترتيب
Walter Writes AI	تسوق إضفاء الطابع البشري على نطاق واسع عبر أكثر من 80 لغة من دون ادعاء خاص بـ Turnitin	لا توجد بيانات اختبار في أي من الاتجاهين
HIX Bypass	تسوق صفحات تجاوز بحسب كل كاشف من دون رقم خاص بـ Turnitin	HIX Bypass و BypassGPT منتجان منفصلان على نطاقات منفصلة، لذا يجب التحقق من أيهما يصفه الادعاء
StealthGPT	متوسط بشري بنسبة 98% على Turnitin و95% على GPTZero، وكل منهما من تشغيل مذكور لـ 30 عينة مع صفر من الاكتشافات، مع ضمان استرداد المال إذا اكتُشف المشترك	مبلغ عنه ذاتيا. لا تُنشر مجموعة البيانات أو اختيار العينة أو التاريخ أو المنهج إلى جانب الأرقام، و30 وثيقة عدد صغير لتشغيل يدّعي أداء نموذج على ملايين الإرسالات
Phrasly	تضع نفسها بوصفها أداة لإزالة الكشف عن الذكاء الاصطناعي، ولا تنشر أي بيانات اختبار	لا يوجد ادعاء عام في أي من الاتجاهين. الأرقام المتداولة في المراجعات منقولة بالواسطة، ولذلك تُستبعد هنا من حيث المبدأ
Grammarly	لا تسوق إعادة الصياغة لديها بوصفها تجاوزا للكشف إطلاقا. وتدعي صفحة كاشف الذكاء الاصطناعي لديها دقة كشف تبلغ 99% وترتيبا أول على المعيار المستقل لـ RAID	تذكر صفحة Grammarly نفسها أن أي كاشف ذكاء اصطناعي ليس دقيقا بنسبة 100%. وتوسم ميزة Authorship النص بأنه مكتوب بيد بشرية، أو منشأ بالذكاء الاصطناعي، أو محرر بواسطة Grammarly
TextPulse	معدل اجتياز 92.33% على Turnitin AI، و89.12% على Originality.ai، و87.91% على GPTZero، مقاس على corpus أكاديمي من 2,000 وثيقة	مقاس ومنشور بواسطة TextPulse، ولذلك فهو مبلغ عنه ذاتيا مثل كل رقم فوقه. حجم corpus والكواشف مسميان، ولا يُوعَد بأي نتيجة كاشف لوثيقة بعينها

تنبثق ثلاثة أمور من ذلك الجدول. معظم هذه الأدوات لا تنشر أي ادعاء عن الكاشف يمكن التحقق منه على الإطلاق. ويقرن عدد قليل منها حجم عينة برقم، وهذا أكثر مما ينجزه باقي هذا الصنف. ولا تنشر أي منها مجموعة بيانات يمكن لأي شخص خارج الشركة تشغيلها بنفسه. ومع ذلك، ينبغي إعطاء كل علامة تجارية ما تستحقه. إن Undetectable.ai تضع استردادًا ماليًا خلف ادعائها، وهذا التزام ملموس لا مجرد صفة. وتنشر WriteHuman حدودًا دقيقة لعدد الطلبات والكلمات بحسب كل مستوى، بحيث يعرف المشتري ما الذي يحصل عليه. وتقيّد Grammarly رقم الدقة الخاص بها في الصفحة نفسها التي تذكره فيها، وهذا أكثر مما تفعله معظم بائعي الكواشف. أما امتناع QuillBot عن تقديم ادعاء تجاوز أصلًا فهو الموقف الأكثر قابلية للدفاع عنه في القائمة.

لماذا لا يستطيع أحد خارج البائع التحقق من هذه الأرقام

إن بائع أداة تحويل النص إلى صياغة بشرية الذي يدّعي معدل اجتياز Turnitin يصف عمليات تشغيل أُجريت عبر حساب يسيطر عليه، وعلى مستندات اختارها هو، وفي تاريخ لا يذكره عادة، مقابل مصنف تقوم Turnitin بمراجعته كلما صدرت نماذج لغوية جديدة. وهذا ينطبق على رقم StealthGPT المؤلف من 30 عينة، وينطبق بالقدر نفسه على رقم 2,000 مستند الذي ينشره هذا الموقع. يؤثر حجم المتن في مقدار الضجيج الكامن في الرقم. لكنه لا يحول التقرير الذاتي إلى تدقيق.

والنصف الآخر من المشكلة هو أن قائمة Turnitin نفسها للنماذج التي تدّعي اكتشافها تُعدّل كلما وصلت إصدارات جديدة. إن معدل الاجتياز المقاس مقابل مصنف الربع السابق يصف مصنف الربع السابق ولا يصف غيره. ويُعرض بشكل منفصل سبب كون هذا يعني أن لا أحد يستطيع تسمية أفضل أداة تحويل نص إلى صياغة بشرية بالذكاء الاصطناعي لتجاوز Turnitin. فكل رقم على الصفحة الرئيسية لأي أداة تحويل نص إلى صياغة بشرية، بما في ذلك هذا الموقع، هو لقطة آنية تحمل تاريخًا قد لا يكون البائع قد نشره قط.

كيف تقرأ ادعاء التجاوز قبل أن تدفع مقابله

تفصل أربعة أسئلة بين ادعاء يستحق التقييم وادعاء يستحق التجاهل، وهي تنطبق على كل صف في الجدول أعلاه، بما في ذلك الصف الأخير.

• كم عدد المستندات التي جرى اختبارها، ومن الذي اختارها؟ إن النسبة المئوية التي لا تستند إلى حجم عينة ليست سوى شعار يرتدي رقماً.
• في أي تاريخ، وضد أي إصدار من الكاشف؟ تُراجع نماذج الكشف مع صدور نماذج لغوية جديدة، ومعدل النجاح غير المؤرخ يتقادم بسرعة.
• هل الضمان استرداد أم نتيجة؟ إن وعد استرداد المال ينقل خطراً مالياً صغيراً ولا يفعل شيئاً على الإطلاق تجاه لجنة النزاهة الأكاديمية.
• ماذا يقول المورّد إنه يحدث للاقتباس، أو المصطلح التقني، أو الاقتباس الكتلي؟ إن معظم صفحات التحويل البشري لا تقول شيئاً، وهذا في حد ذاته جواب.

ذلك السؤال الأخير يحسم أكثر مما تحسمه حسابات الكاشف لأي شخص يقدّم عملاً أكاديمياً. إن إعادة الصياغة التي تحقق درجة جيدة وتعمم بهدوء جملة في قسم المنهجية قد كلّفتك الشيء الذي كان يجري تقييمك عليه. أداة التحويل البشري الأكاديمي من TextPulse توثق الحفاظ على الاستشهادات عبر APA وMLA وIEEE وChicago وHarvard وVancouver، وتجميد المصطلحات لقفل المفردات الدقيقة قبل تشغيل المرور، والتدريب على نصوص أكاديمية محكّمة مع إبقاء المخرجات ضمن Flesch-Kincaid من الدرجة 13 إلى 18. هذه ادعاءات بشأن ما يحدث للنص، وهي نوع مختلف من الادعاءات عن نسبة مئوية تخص كاشفاً، ويمكن للقارئ التحقق منها في المخرجات خلال دقيقة واحدة.

ماذا تعني الدرجة للطالب في كلتا الحالتين

يكون Turnitin واضحاً في القول إن مؤشر الكتابة بالذكاء الاصطناعي ليس حكماً بوجود مخالفة. تنص صفحة المنتج الخاصة بـ Turnitin صراحة على أن Turnitin Originality "does not make a determination of misconduct through our AI writing detection (or similarity checking) technology." كما توضح أيضاً أن Turnitin يزوّد المعلمين بالمعلومات لتمكينهم من اتخاذ قرار مستنير استناداً إلى سياسات مؤسستهم. ويُعاد التأكيد على ذلك من خلال التحذير من أن النموذج "may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."

لا يرى الطلاب الدرجة افتراضيًا. يذكر Turnitin بوضوح أن مؤشر كشف الكتابة بالذكاء الاصطناعي والتقرير غير مرئيين للطلاب، والطريق الوحيد إلى رؤيتهما هو أن يقوم المدرس بتنزيل التقرير بصيغة PDF وتسليمه. الطالب الذي يراجع مسودته الخاصة يراجع أداة مختلفة مدرَّبة على بيانات مختلفة، ولا يوجد ما يلزم أن تتفق الرقمان.

وهذا يترك الجزء الذي لا تحسمه أي درجة. ما إذا كان استخدام الذكاء الاصطناعي مسموحًا به أصلًا هو سؤال يخص المقرر والمؤسسة، وتجيب عنه سياسة استخدام الذكاء الاصطناعي بطريقة لا تفعلها أي نسبة مئوية. الدرجة المرتفعة على استخدام مسموح ومفصح عنه هي حديث مدعوم بأدلة. أما الدرجة المنخفضة على استخدام غير مفصح عنه تحظره السياسة، فهي لا تزال استخدامًا غير مفصح عنه.

بالنسبة إلى الكاتب الذي يحرر مسودته الخاصة، فإن القراءة العملية لكل هذا هي أن الدرجة تتبع الكتابة. يقيس نموذج Turnitin النمط على مستوى الجملة عبر المستند كله، لذلك تنتج إعادة الصياغة الجزئية حركة جزئية، وتنتج تمريرات المفردات حركة قليلة جدًا، إن وُجدت أصلًا. يشرح العرض الكامل لـ كيفية إضفاء الطابع البشري على نص الذكاء الاصطناعي التعديلات البنيوية التي تغيّر النمط، بالترتيب الذي يحركه أكثر.

تطبق أداة AI humanizer من TextPulse تلك التعديلات البنيوية على مستند كامل دفعة واحدة، وتعرض Human Score تقديريًا محسوبًا من النص نفسه، لا توقعًا لما ستقوله أي أداة كشف مسماة. لا يمكن لأي أداة أن تضمن نتيجة في Turnitin، لأن لا أداة تستطيع النظر داخل نموذج Turnitin. وأي منتج يدعي خلاف ذلك يصف نتيجة لا توجد لديه وسيلة لملاحظتها.

التمييز بين humanizer و paraphraser مهم هنا، وكذلك السبب الذي يجعل النص المعاد صياغته يُعلَّم أيضًا.

الرقم هو أقل جزء مثير للاهتمام في هذا. ما يحسم النتيجة هو الدقائق العشرين التي تلي نظر المصحح إليه: هل يمكن للورقة أن تُظهر طريقة عملها، وتاريخ المسودة، ومجموعة من الملاحظات، ومصادر يمكن للكاتب أن يتحدث عنها من دون فتحها. هذا الدليل متاح لأي شخص قام بالعمل، وهو يصمد أمام درجة لم تنجح إعادة الصياغة في تغييرها.