Turnitin غلط مثبت شرح: اعداد کیا کہتے ہیں

Turnitin کی false positive rate ایک عدد نہیں ہے۔ کمپنی دو اعداد شائع کرتی ہے: document level پر 1 percent سے کم ایک شرح، اور sentence level پر تقریباً 4 percent کے قریب ایک شرح۔ دونوں حقیقی ہیں، دونوں شائع شدہ ہیں، اور ان میں سے کوئی ایک بھی اکیلے اس مخصوص مقالے کے بارے میں زیادہ کچھ نہیں بتاتا جو کسی مخصوص professor کے سامنے رکھا ہو۔

ان دو اعداد کے درمیان یہ فرق، اور جب ان میں سے کوئی ایک کسی single document کے بجائے ایک حقیقی class پر لاگو کیا جائے تو کیا ہوتا ہے، یہی اس مضمون میں واضح کیا گیا ہے: Turnitin خود کیا کہتا ہے، یہ دو اعداد اصل میں کیا احاطہ کرتے ہیں، اور وہ حساب جو fraction of a percent کو students کی حقیقی تعداد میں بدل دیتا ہے۔

Turnitin کے مطابق Turnitin کی False Positive Rate کیا ہے؟

document level پر، کمپنی کے اپنے الفاظ میں: "Our document false positive rate, incorrectly identifying fully human-written text as AI-generated within a document, is less than 1% for documents with 20% or more AI writing." یہ شرط عدد جتنی ہی اہم ہے۔ under-1-percent کی یہ شرح ہر اس paper کے بارے میں دعویٰ نہیں ہے جسے Turnitin score کرتا ہے۔ یہ صرف ان papers کے اس حصے کو بیان کرتی ہے جو model کے اپنے اندازے میں پہلے ہی 20 percent AI-written threshold سے گزر چکے ہوں۔

sentence level پر، جہاں interface پورے document کے بجائے انفرادی lines کو highlight کرتا ہے، Turnitin کی اپنی شرح تقریباً چار گنا زیادہ ہے۔ "Our sentence-level false positive rate is around 4%," کمپنی کہتی ہے۔ "There is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written." Turnitin مزید کہتا ہے کہ یہ غلط sentences بے ترتیب طور پر نہیں بکھرتیں: 54 percent of the time، غلطی سے flagged کی گئی sentence فوراً حقیقی AI writing کے ساتھ ہوتی ہے، جسے کمپنی اس وجہ کے طور پر پیش کرتی ہے کہ whole-document score کسی ایک highlighted line کے مقابلے میں بہتر طور پر برقرار رہتا ہے۔

Document-Level اور Sentence-Level ایک ہی دعویٰ نہیں ہیں

یہ دو سطحی تقسیم نظرثانی شدہ پیغام رسانی ہے، Turnitin کی اصل پوزیشن نہیں۔ اپریل 2023 میں آغاز کے وقت، کمپنی نے ایک واحد 1 فیصد سے کم کا عدد شائع کیا تھا، جس میں دستاویز بمقابلہ جملہ کی کوئی تفریق بالکل نہیں تھی۔ جب اداروں نے اس عدد کا حوالہ دینا شروع کیا اور جب تعلیمی صحافت نے حقیقی دنیا میں توقع سے زیادہ false positives کی رپورٹ دی، تو Turnitin کے چیف پروڈکٹ آفیسر نے اوپر استعمال کی گئی تفصیل شائع کی، اس کے ساتھ دو مصنوعات میں تبدیلیاں بھی بیان کیں جو اس کے جواب میں کی گئیں: قابلِ اسکور دستاویز کی کم از کم لمبائی 150 سے بڑھا کر 300 الفاظ کرنا، اور یہ بدلنا کہ دستاویز کے ابتدائی اور آخری جملوں کو کیسے اسکور کیا جاتا ہے۔

300 لفظی حد ایک متعلقہ وجہ سے موجود ہے۔ Turnitin نے اسے اصل 150 لفظی کم از کم سے بڑھایا، اس کے بعد کہ کمپنی کے اپنے الفاظ میں یہ پایا گیا کہ زیادہ متن کے ساتھ درستگی بڑھتی ہے۔ ایک مختصر جمع کرائی گئی تحریر، ایک صفحے کی reflection، ایک جزوی مسودہ، ایک discussion post، ماڈل کو کام کرنے کے لیے اس سے کم اشارہ دیتی ہے جتنا اوپر دی گئی false positive کی شرحوں کی پیمائش کے وقت موجود تھا، اور یہی وجہ کا حصہ ہے کہ اس حد سے کم کسی چیز کو بالکل AI score نہیں دیا جاتا، بجائے اس کے کہ ایک غیر معتبر score دیا جائے۔

سطح	Turnitin کی بیان کردہ شرح	یہ عملاً کس چیز کا احاطہ کرتی ہے
دستاویز کی سطح	1% سے کم	صرف وہ دستاویزات جو پہلے ہی 20% یا اس سے زیادہ AI-written کے طور پر نشان زد ہو چکی ہوں، پوری جمع کرائی گئی تحریر کے لیے مجموعی فیصد
جملے کی سطح	تقریباً 4%	AI writing report کے اندر نمایاں کیا گیا کوئی بھی انفرادی جملہ، دستاویز کے مجموعی score سے قطع نظر
20% دستاویزی حد سے نیچے	کوئی عدد نہیں دکھایا جاتا	Turnitin فیصد کے بجائے ایک ستارہ دکھاتا ہے، اور اس حد میں نتیجے کو کم معتبر قرار دیتا ہے

حساب: ایک فیصد کے ایک حصے کا حقیقی گروہ کے لیے کیا مطلب ہے

یہ حساب عوامی طور پر اس وقت کیا گیا جب Vanderbilt University نے August 2023 میں Turnitin کی AI detection سے وابستہ error rates کا حساب لگایا۔ اس حساب کو کرنے کی بہترین مثال Vanderbilt کی اپنی numbers کی working out ہے۔ Turnitin کے AI detector کو بند کرنے کے اپنے فیصلے کے بارے میں ایک blog post میں انہوں نے لکھا، "[i]n 2022 we submitted around 75,000 papers to Turnitin, which means that Turnitin's stated 1 percent false positive rate means around 750 student papers could have been incorrectly labeled as having some of it written by AI."

یہ figure vendor کے شائع کردہ number کو Vanderbilt کے اپنے volume پر apply کرنے سے نکالا گیا Vanderbilt کا اپنا extrapolation ہے، نہ کہ separately measured result۔ اس arithmetic کی شکل ایک university کی headcount سے آگے بھی generalize ہوتی ہے۔ 1-percent سے کم rate جب چند hundred papers پر apply کیا جائے تو غلط طور پر flag ہونے والے students کی چند cases بنتی ہیں، جنہیں آسانی سے نظر انداز کیا جا سکتا ہے۔ یہی rate جب tens of thousands of papers پر apply کیا جائے, جو scale ایک actual university ہر year submit کرتی ہے, تو چند کے بجائے hundreds بنتے ہیں, کیونکہ ایک small percentage اور ایک large population کو الگ الگ consider کرنے کے بجائے ایک ساتھ multiply کیا جا رہا ہوتا ہے۔

ان میں سے کوئی بات یہ ثابت نہیں کرتی کہ real-world rate lab figure سے بالکل match کرتی ہے۔ Turnitin کے اپنے chief product officer نے publicly تسلیم کیا ہے کہ real-world results lab testing سے مختلف ہوتے ہیں, اور یہی وجہ ہے کہ company نے ابتدا ہی میں اپنی messaging revised کی۔ اوپر دیا گیا arithmetic Turnitin کے اپنے stated number کو ایک ایسے input کے طور پر لیتا ہے جسے سنجیدگی سے لینا چاہیے, نہ کہ اس بات کی ceiling کے طور پر کہ tool submissions کو score کرنے کے بعد حقیقت میں کیا ہوتا ہے, جب submissions curated benchmark سے بالکل مختلف نظر آتی ہیں۔

یہ Rate کس چیز کا احاطہ نہیں کرتی

20 فیصد کی حد سے کم نتیجے کے ساتھ کوئی چھوٹی فیصد منسلک نہیں کی جاتی۔ اس کے بجائے اس کے ساتھ عدد کی جگہ ایک ستارہ دیا جاتا ہے، Turnitin نے یہ انتخاب اس لیے کیا کیونکہ یہی وہ حد ہے جہاں یہ ٹول دونوں سمتوں میں سب سے کم قابل اعتماد ہوتا ہے، اور اس کی تائید آزاد تعلیمی صحافتی رپورٹنگ کے ساتھ ساتھ کمپنی کی اپنی کم اعتماد والی توضیح بھی کرتی ہے جو اس حد کے بارے میں دی گئی ہے۔ ہلکی سی تدوین، ایک پیراگراف میں مدد کے ساتھ ترمیم کی گئی ہو اور باقی بغیر مدد کے لکھا گیا ہو، بالکل کوئی مرئی اسکور بھی پیدا نہیں کر سکتی، نہ کہ صرف ایک چھوٹا اسکور، اور یہ بات جاننا مفید ہے اس سے پہلے کہ غائب عدد کو یا تو الزام یا صحت کی صاف سند سمجھ لیا جائے۔ TextPulse کی اس رہنمائی میں کہ اچھا Turnitin اسکور کس کو کہا جاتا ہے رپورٹ کے قارئین کی طرف سے اسی حد کا احاطہ کیا گیا ہے۔

تو شائع شدہ غلط مثبت شرح کو کیسے پڑھا جانا چاہیے؟

ایک فروشندہ کے اس عدد کے طور پر جو اس سے زیادہ محدود حالت کے بارے میں ہے جتنی پہلی نظر میں وہ بیان کرتا دکھائی دیتا ہے، نہ کہ اس مقالے کے بارے میں جو کسی ایک مخصوص پروفیسر کے سامنے رکھا ہے۔ Turnitin اپنی پیداوار کو بھی اسی طرح بیان کرتا ہے, کمپنی صاف طور پر کہتی ہے کہ اس کی AI writing detection technology "a determination of misconduct" فراہم نہیں کرتی، بلکہ صرف "data for educators to make an informed decision." کہ آیا AI detectors بالکل درست ہیں یا نہیں پر وسیع تر شواہد بھی اسی مطالعے کی تائید کرتے ہیں: شائع شدہ شرح ایک معیارِ موازنہ بیان کرتی ہے، نہ کہ وہ دستاویز جو اس وقت جانچی جا رہی ہو۔

جو مصنفین یہ جاننا چاہتے ہیں کہ ان کا اپنا مسودہ اسی نوع کی شماریاتی پیمائش پر کہاں کھڑا ہے، اندازہ لگانے کے بجائے، وہ اسے براہ راست ایک مفت perplexity checker کے ساتھ کسی ادارے کے detector تک پہنچنے سے پہلے جانچ سکتے ہیں۔ یہ ٹیکنالوجی کے استعمال کا ایک مختلف طریقہ ہے اس کے مقابلے میں کہ بعد میں اسکور سے بحث کی جائے، اور یہی وہ جگہ ہے جہاں مصنف، منتظم کے بجائے، پہلے عدد دیکھتا ہے۔

جن کے ادارے میں اس کے بجائے یہ استعمال ہوتا ہے، ان کے لیے ZeroGPT کی accuracy کا الگ سے جائزہ لیا گیا ہے۔ جن پر یہ غلطیاں سب سے زیادہ اثر ڈالتی ہیں، یعنی غیر مقامی انگریزی لکھنے والے, ان کے لیے بھی ایک الگ صفحہ موجود ہے۔

اس حساب کے لیے سب سے زیادہ معرضِ خطر میں موجود آبادی بھی یکساں طور پر پھیلی ہوئی نہیں ہے۔ غیر مقامی انگریزی لکھنے والے کسی بھی ان فیصدوں کے غلط جانب آ جانے کے سب سے بڑے دستاویزی خطرے کے حامل ہیں، اور یہی وہ سامعہ ہے جس کے گرد TextPulse کا ESL علمی لکھنے والوں کے لیے صفحہ تشکیل دیا گیا ہے۔ Turnitin اپنے ماڈل کو دوبارہ تربیت دینے کے ساتھ ان اعداد و شمار پر نظرِ ثانی کرتا رہے گا۔ جو چیز نہیں بدلے گی وہ خود حساب ہے: اتنی چھوٹی شرح کو غائب ہونے کے لیے اتنی بڑی آبادی درکار ہوتی ہے، اور زیادہ تر حقیقی گذارشات اتنی خوش قسمت نہیں ہوتیں۔