كيف تعمل كاشفات الذكاء الاصطناعي؟ الحيرة، التفاوت، واحتمال الرمز

بدأت جامعتك في تمرير التسليمات عبر كاشف للذكاء الاصطناعي، وعاد تقرير برقم لم تكن تتوقعه. قبل أن تحاول الاعتراض عليه، من المفيد أن تعرف ما الذي يعنيه ذلك الرقم. كيف تعمل كواشف الذكاء الاصطناعي؟ إنها لا تقرأ الكتابة الآلية بالطريقة التي يقرأ بها الإنسان. إنها تقيس مدى قابلية نصك للتنبؤ من منظور نموذج لغوي، ثم تحول هذه القابلية للتنبؤ إلى درجة. لا ينظر أي شيء في هذه العملية إلى ما تقصده، أو إلى حجتك، أو إلى ما إذا كنت قد كتبت النص فعلا.

لقد أمضيت سنوات في بناء أدوات تفكك النص إحصائيا، وأهم شيء واحد لفهم الكشف هو هذا: إنه قياس للنمطية، لا للأصل. ما إن تتضح هذه الفكرة حتى تصبح التكنولوجيا وإخفاقاتها أكثر منطقية بكثير.

ما الذي يقيسه الكاشف فعلا

الكاشف لا يعرف من كتب أي شيء. ما لديه هو نموذج لغوي ودالة تسجيل. يقرأ النموذج نصك من اليسار إلى اليمين، وفي كل نقطة ينتج توزيعا احتماليا للكلمة التي ينبغي أن تأتي بعد ذلك. إذا أعطيته الكلمات "the results of the" فسيرتب "study" في المرتبة الأعلى، و"experiment" أدنى قليلا، و"marmalade" في موضع قريب من الصفر.

لذلك يطرح الكاشف سؤالا واحدا على وثيقتك: كم مرة اختار هذا النص الكلمة التي توقعها النموذج؟ الكتابة التي تواصل الوقوع على كلمات عالية الاحتمال تبدو مصنوعة آليا، لأن هذا بالضبط ما يفعله مولد النصوص. إن النموذج يعاين من أعلى توزيعه الخاص، مرارا وتكرارا، عبر آلاف الرموز.

ولهذا السبب فإن هذه الفئة كلها تقوم على أرض أكثر اهتزازا مما يوحي به التسويق. الكاشف لا يعثر على علامة مائية ولا على بصمة. إنه يلاحظ أن نثرك غير مفاجئ إحصائيا، والنثر غير المفاجئ له أسباب كثيرة غير وجود روبوت محادثة.

الحيّرة: مدى دهشة النموذج

المقياس الأساسي يسمى perplexity، وهو أسهل مما يبدو. خذ الاحتمال الذي أسنده النموذج إلى كل كلمة ظهرت فعلاً، ثم احسب المتوسط الحسابي للوغاريتمات لتلك الاحتمالات، وبعد ذلك ارفع الناتج إلى الأس. ما ينتج هو عدد واحد يصف مدى دهشة النموذج من مستندك. يمكنك التحقق من perplexity لمسودتك الخاصة بدلاً من التخمين بشأنه.

يعني انخفاض perplexity أن النص سار في الاتجاه الذي توقعه النموذج. ويعني ارتفاع perplexity أنه ظل يتخذ منعطفات لم يتوقعها النموذج. تميل الكتابة البشرية إلى أن تكون أعلى، لأن الناس يلجؤون إلى الاسم النادر المحدد، والتركيب غير المألوف، والجملة التي تبدأ من موضع غير متوقع. وتميل النصوص المولدة إلى أن تكون أقل، لأن عملية فك الترميز مبنية على تجنب هذه التحركات بالضبط.

قارن بين طريقتين لافتتاح قسم المنهجية. "كانت نتائج الدراسة ذات دلالة إحصائية" هي سلسلة يمكن لأي نموذج تقريباً أن يتنبأ بها بثقة عالية، لأنها لا تحمل معلومات غير متوقعة. أما "انحرفت اثنتان من المجموعات الثلاث قبل الأسبوع السادس، وهو ما لم نكن قد خططنا له" فهي أقل قابلية للتنبؤ بكثير، لأنها تحمل معلومات محددة وغير مألوفة لا يمكن تخمينها من بقية الورقة. الجملة الثانية تكلف الكاشف دهشة حقيقية، وهذه الدهشة هي ما يسجل بوصفه بشرياً.

Burstiness: التباين، لا المتوسط

إن perplexity وحده لا يكفي، لأن المستند قد يفضي في المتوسط إلى رقم معقول تماماً بينما يكون متجانساً على نحو مريب في داخله. ما يهم هو التغير عبر النص، وهذا ما تقيسه burstiness: مقدار تذبذب طول الجملة وperplexity على مستوى الجملة مع تقدم الكتابة. سيعرض لك burstiness checker هذا الانتشار مباشرة.

نسرع عندما نكون واثقين، ونبطئ عندما نتحفظ، وتبقى هذه الإيقاعية في النثر. يكتب الناس على دفعات. قد تفتتح فقرة بجملة خبرية قصيرة من ثماني كلمات، ثم تدخل في جملة من أربع وثلاثين كلمة تحمل ثلاث جمل فرعية واعتراضاً بين قوسين، ثم تعود إلى شيء سريع.

لا يقوم ناتج النموذج بهذا على نحو موثوق. تتجمع الجمل قرب متوسط الطول. وتأتي الفقرات في حزم منتظمة. ويبدأ كل قسم بإعادة صياغة عنوانه الخاص. إنه يُقرأ بسلاسة ويحقق درجة سيئة، لأن انخفاض التباين بين الجمل يعد من أقوى الإشارات التي يمتلكها الكاشف. ليس جملة بعينها هي التي تكشفه، بل التجانس.

الإشارة	ما الذي تقيسه	لماذا تحصل النصوص الآلية على درجة منخفضة
Perplexity	مدى دهشة النموذج من اختياراتك للكلمات، محسوبا بمتوسط على كامل المستند	تفك التشفير عينات من الرموز ذات الاحتمال المرتفع بحكم التصميم
Burstiness	مدى تباين طول الجملة وقابلية التنبؤ عبر النص	يتكتل الناتج قرب المتوسط بدلا من أن يتأرجح
Token probability	الاحتمال لكل كلمة الذي تُحسب منه الإشارتان الأخريان	سلاسل طويلة من اختيارات عادية على نحو فردي

احتمال الرمز ومصدر الدرجة

كلا هذين الرقمين يُبنى من رقم ثالث، وهو الاحتمال اللوغاريتمي لكل رمز، أي المادة الخام التي يُحسب منها كل شيء آخر. تعرضه لك بعض الأدوات مباشرة، مع إبراز المقاطع التي كان نصك فيها أكثر قابلية للتنبؤ. هذه الإبرازات ليست اتهامات لجمل محددة، مهما أوحت الواجهة بذلك. إنها الأجزاء التي أسهمت أكثر ما يكون في رقم على مستوى المستند.

لقد تجاوزت مناهج البحث الحدود البسيطة. ينظر DetectGPT وخلفاؤه إلى الانحناء: إذ يزعزعون نصك قليلا ويتحققون مما إذا كان الاحتمال ينخفض وفق النمط الذي يميل النص المولّد إلى إظهاره. وتقارن مناهج أخرى المقطع نفسه تحت نموذجين مختلفين وتستخدم الاختلاف بوصفه إشارة.

وتهم نتيجة واحدة كل من يخضع للتقييم. لأن المقاييس تُحسب بالقياس إلى نموذج مرجعي معين، فإن الدرجة تكون دائما نسبية إلى ذلك النموذج. قد يقرأ كاشفان الفقرة نفسها ويختلفان تماما، ولا يكون أي منهما معطلا. إنهما يجيبان عن السؤال نفسه من نقاط مرجعية مختلفة.

النتيجة الثانية يُشار إليها أقل كثيرًا. لا يستطيع النموذج أن يجد مقطعًا متوقعًا إلا إذا كان ذلك المقطع شبيهًا بما دُرِّب عليه، لذلك تتدهور جودة الكشف كلما اتسعت الفجوة بين النموذج المرجعي وأي شيء أنتج النص. إن المولدات الأحدث، والتخصصات غير المألوفة، واللغات غير الإنجليزية كلها توسع تلك الفجوة. وهذا جزء من سبب كون الدقة المقاسة في معيار مضبوط نادرًا ما تصمد عند الاحتكاك بحزمة حقيقية من التسليمات.

ما الذي تضيفه الكواشف التجارية فوق ذلك

الأدوات التي تشتريها المؤسسات فعليًا لا تشغل perplexity المدرسية. Turnitin وGPTZero وOriginality وغيرها تدرب مصنفات خاضعة للإشراف على مجموعات كبيرة موسومة من نصوص بشرية وآلية، باستخدام سمات إحصائية إلى جانب السمات الأسلوبية. ما يتعلمه المصنف هو ما يميز بين هاتين الحزمتين في بيانات التدريب الخاصة به، وهو أمر أضيق وأكثر تاريخية من "الكتابة بالذكاء الاصطناعي" بوجه عام.

الاعتماد على التدريب هو المشكلة الصامتة. فالمصنف الذي دُرِّب أساسًا على جيل واحد من مخرجات النماذج يجب أن يعمم على نماذج أحدث، وعلى تخصصات غير مألوفة، وعلى كتاب لا تشبه الإنجليزية لديهم التوزيع التدريبي الخاص به. تنشر الجهات الموردة أرقام الدقة من تقييماتها الخاصة، وغالبًا ما تقع المعايير المستقلة دون تلك الأرقام بكثير عند اختبار الأدوات نفسها.

قراءة الدرجة من دون المبالغة في قراءتها

عادة ما يصل تقرير الكاشف على هيئة نسبة مئوية، وتُساء قراءة تلك النسبة على نحو متكرر. فهي ليست نسبة وثيقتك التي كتبها جهاز. وبحسب الأداة، قد تكون درجة ثقة المصنف، أو حصة الجمل التي تجاوزت عتبة داخلية ما، وغالبًا ما تكون الجهات الموردة غامضة بشأن أيهما. وقد يعني تقريران يظهران كلاهما ستين في المئة أمرين مختلفين جدًا.

من المفيد أيضاً أن نعرف ما الذي يحرّك الدرجة لأسباب لا علاقة لها بمن كتب النص. الوثائق القصيرة أكثر ضجيجاً، لأن النص المتاح أقل لكي تستقر عليه المتوسطات، ويمكن لمقال من 500 كلمة أن يتقلب كثيراً بفعل جملتين أو ثلاث غير مألوفة. كما تُحتسب المادة المقتبسة أيضاً ما لم تقم الأداة باستبعادها، لذلك فإن مراجعة أدبية مليئة بالاقتباسات المقتبسة ترث قابلية التنبؤ الخاصة بما تقتبسه. والمقطع التقني المزدحم بالمصطلحات القياسية يتصرف بالطريقة نفسها.

إذا كنت أنت من تلقى الإشارة، فاستجابة مفيدة تكون بالأدلة لا بالجدل حول المقياس. سجل الإصدارات، والمسودات، والملاحظات، وسجلات البحث كلها تشهد على العملية، والعملية هي ما تستطيع لجنة سوء السلوك تقييمه فعلاً. لا توجد عتبة يمكن لأي أحد أن يشير إليها تفصل بين كاتب حذر ونموذج.

لماذا تشير الكواشف إلى كتابة لم ينتجها أي نموذج

الإيجابيات الكاذبة ليست عطلاً نادراً. إنها تنتج مباشرة من قياس النمطية. أي كتابة قابلة للتنبؤ حقاً ستحصل على درجة قابلة للتنبؤ، بغض النظر عمن أنتجها.

يتأثر الكتّاب غير الناطقين بالإنجليزية كلغة أم أكثر من غيرهم. وجد باحثون في Stanford أن الكواشف أساءت تصنيف نسبة كبيرة من مقالات غير الناطقين بها كلغة أم على أنها مولدة آلياً، بينما صنفت مقالات الناطقين بها كلغة أم تصنيفاً صحيحاً. والسبب آلي لا خبيث: فالكتّاب الذين يعملون بلغة ثانية يميلون إلى الاعتماد على التراكيب المألوفة والمفردات الأكثر شيوعاً. وهذا هو بالضبط ملف انخفاض الحيرة، ولهذا السبب يتلقى كتّاب ESL إشارات لأنهم يكتبون بعناية.

تسبب الأعراف الأكاديمية المشكلة نفسها. يفترض أن يكون قسم المنهجية نمطياً. الكتابة القانونية، والوثائق التقنية، والتقارير السريرية كلها تكافئ الصياغة القياسية أكثر من الصياغة المبتكرة. ويزيد التحرير المكثف الأمر تعقيداً، لأن تنقيح المسودة يعني عادة إزالة المخالفات التي كانت تحمل بصمتك الإحصائية.

لقد لاحظت المؤسسات ذلك. عطلت Vanderbilt ميزة الكشف عن الذكاء الاصطناعي في Turnitin بدلا من الاعتماد على درجات لم تستطع التحقق منها، كما قيدت جامعات أخرى كيفية استخدام هذه الأرقام في إجراءات المخالفات. تعامل مع درجة الكاشف بوصفها قرينة ضعيفة واحدة، لا حكما نهائيا.

ما الذي يعنيه هذا لكتابتك أنت

النصيحة العملية التي تترتب على الآليات ليست غريبة، ولا يتضمن أي منها التحايل على شيء. نوّع طول الجمل عمدا، لأن الانتظام هو ما يلفت الانتباه. حافظ على التفصيل المحدد: الرقم الفعلي، القيد الفعلي، الشيء الذي أخطأ في الأسبوع السادس. الكفاءة العامة هي ما يسجل بوصفه مصنوعا آليا، أما التحديد فهو كتابة أفضل وإشارة أقوى في الوقت نفسه.

حافظ على أسلوبك الخاص أيضا. إذا كانت لديك طريقة في التعبير عن الأشياء، فاتركها كما هي. إن الميل إلى صقل المسودة حتى تبدو مثل أي ورقة أخرى في المجال هو الميل الذي يخفض قيمة perplexity لديك.

هناك أمر ينبغي تجنبه: بعض الأدوات تدخل أخطاء نحوية عمدا لرفع perplexity. هذا قد ينجح على مستوى المقياس، لكنه فكرة سيئة للغاية لأي نص يخضع للتقييم أو لمراجعة الأقران، لأنك تستبدل شبهة بيقين. الهدف هو كتابة تبدو كتابتك أنت، لا كتابة أُتلفت عمدا. هذا هو الفارق الكامل بين إعادة الصياغة لقارئ بشري وبين إفساد النص لخداع المصنف.

إذا أردت أن ترى هذه الأرقام في مسودتك أنت بدلا من أن تأخذ بكلام صندوق أسود على علاته، فإن القياسات الأساسية ليست سرا. ستوضح لك أدوات تحليل النص المجانية موضع نصك، ويمكنك أن تقرر بنفسك ما إذا كانت المقاطع المسطحة مشكلة أسلوبية تستحق الإصلاح.