Turnitin Similarity Score বনাম AI Score: দুটি ভিন্ন প্রতিবেদন
একটি similarity score এবং একটি AI score ভিন্ন প্রশ্নের উত্তর দেয়, তাই একটি paper একটিতে কম এবং অন্যটিতে বেশি score করতে পারে, অথচ কোনো সংখ্যাই ভুল নাও হতে পারে। প্রতিটি কী মাপে, কী তা ট্রিগার করে, এবং একটি উচ্চ সংখ্যা কী প্রমাণ করে এবং কী প্রমাণ করে না।
একটি প্রতিবেদনে দুটি সংখ্যা থাকে: 3 শতাংশের একটি সাদৃশ্য স্কোর এবং 88 শতাংশের একটি AI স্কোর। স্বাভাবিকভাবে মনে হতে পারে, এগুলো নিশ্চয়ই একই জিনিস মাপছে, তাই কম সংখ্যাটি মানে উচ্চ সংখ্যাটিও সম্ভবত ভুল। কিন্তু বিষয়টি তেমন নয়। Turnitin similarity vs AI score হলো দুটি পৃথক সিস্টেমের তুলনা, যা দুটি পৃথক বিষয় পরীক্ষা করে, এবং একটি জমা দেওয়া লেখা একটিতে কম আর অন্যটিতে বেশি স্কোর করতে পারে, তবু কোনো সংখ্যাই ভুল নাও হতে পারে।
এটি AI-ভিত্তিকটির চেয়ে পুরোনো, এবং এমন পাঠ্য ধরার জন্য তৈরি যা ইতিমধ্যে বিদ্যমান কিছুর সঙ্গে মিলে যায়। এটি নতুন, এবং একই Similarity Report-এ নিজস্ব স্বাধীন পরিমাপ হিসেবে যোগ করা হয়েছে, যা অনুমান করে যে গদ্যটি যন্ত্র-উৎপাদিত কি না, তা কোনো কিছুর সঙ্গে মেলে কি না, সে বিষয়টি নির্বিশেষে। Turnitin-এর নিজস্ব নথি অনুযায়ী, এগুলো সম্পূর্ণ স্বাধীন এবং একে অপরকে প্রভাবিত করে না। এই অংশের বাকি সবকিছু।
Turnitin Similarity vs AI Score: প্রতিটি সংখ্যা কী প্রতিবেদন করে
Turnitin এই দুটিকে একটির দুটি দৃষ্টিভঙ্গি না ধরে, এক পণ্যের মধ্যে একত্রিত দুটি ভিন্ন পরিমাপ হিসেবে বিবেচনা করে। Similarity Report একটি জমা দেওয়া লেখাকে ওয়েব বিষয়বস্তু, একাডেমিক প্রকাশনা, এবং পূর্বে জমা দেওয়া শিক্ষার্থীদের প্রবন্ধের একটি ডাটাবেসের সঙ্গে তুলনা করে, এবং জমা দেওয়া লেখার পাঠ্যের যে শতাংশ ইতিমধ্যে সেই ডাটাবেসের কোনো কিছুর সঙ্গে মেলে, তা ফেরত দেয়। AI writing detection সম্পূর্ণ ভিন্ন একটি মডেল চালায়, যা একই প্রতিবেদনে নিজস্ব স্বাধীন স্কোর হিসেবে যোগ করা হয়েছে, এবং যা প্রশিক্ষিত হয়েছে কোনো অংশের গদ্য যন্ত্র-উৎপাদিত লেখার সঙ্গে কতটা সাদৃশ্যপূর্ণ তা বিচার করতে, কোনো বাহ্যিক ডাটাবেসের প্রতি কোনো রেফারেন্স ছাড়াই। Turnitin-এর AI classifier কীভাবে সেই সংখ্যায় পৌঁছায় তার পূর্ণাঙ্গ কার্যপ্রণালী আলাদাভাবে আলোচিত হয়েছে, এখানে গুরুত্বপূর্ণ বিষয় হলো, এটি একই প্রতিবেদনের ভেতরে থাকা similarity engine-এর তুলনায় ভিন্ন একটি প্রশ্নের উত্তর দেয়।
Similarity score আসলে কী মাপে
সাদৃশ্য একটি মিল খোঁজার অনুশীলন, কোনো বিচার নয়। Turnitin-এর নিজস্ব নির্দেশনা স্পষ্টভাবে বলে যে এই টুলটি plagiarism পরীক্ষা করে না। এটি ওভারল্যাপ পরীক্ষা করে এবং ব্যাখ্যার দায় রিপোর্ট পড়া শিক্ষকের ওপর ছেড়ে দেয়। সঠিকভাবে আলাদা করা একটি উদ্ধৃতি, কোনো একটি উপক্ষেত্র জুড়ে ভাগ করা একটি methods-section-এর বাক্যাংশ, জার্নালের প্রতিটি paper যেভাবে তার reference list সাজায় সেইভাবে বিন্যস্ত একটি reference list, এগুলোর সবই match হিসেবে নথিভুক্ত হতে পারে, কারণ systemটি legitimate কি না তা বিচার করার বদলে text-এর overlapping string গণনা করে।
এই কারণেই similarity score শূন্য হওয়া যতটা মনে হয়, তার চেয়ে কম প্রমাণ করে। এর মানে submission-এ Turnitin-এর indexed sources-এ অন্য কোথাও পাওয়া যায় এমন text-এর কোনো দীর্ঘ, অবিচ্ছিন্ন অংশ নেই। এটি সেখানে থাকা sentence-গুলো কীভাবে তৈরি হয়েছে, সে সম্পর্কে কিছুই বলে না, কারণ database-এ কিছুই মেলে না এমন একটি sentence তৈরি করা, একটি language model যে sentence অনুমান করত না, এমন একটি sentence তৈরি করার skill-এর সমান নয়।
আপনার নিজস্ব পেপারকে মানবসদৃশ করুন
আপনার AI-সহায়তাপ্রাপ্ত লেখাকে রূপান্তর করুন এবং গুরুত্বপূর্ণ শব্দ বা উদ্ধৃতি স্পর্শ না করে সেটিকে মানবসদৃশ শোনান।
AI Score আসলে কী পরিমাপ করে
AI score-এর সঙ্গে তুলনা করার মতো কোনো database নেই। একটি classifier জমা দেওয়া prose পড়ে এবং human ও AI-generated writing-এর উদাহরণ জুড়ে শেখা pattern-এর ভিত্তিতে অনুমান করে, সেই prose কোনো person-এর চেয়ে model থেকে আসার সম্ভাবনা কতটা। সেই estimate-এর কোনো কিছুই নির্ভর করে না exact sentenceটি আগে কখনও কোথাও দেখা গেছে কি না তার ওপর। একটি sentence সম্পূর্ণ অনন্য হতে পারে, এই submission পর্যন্ত কেউ কখনও টাইপ না-ও করে থাকতে পারে, তবু যদি তার word choice এবং rhythm একটি language model যে pattern সাধারণত তৈরি করে তার অনুসরণ করে, তবে সেটি AI output-এর পরিসংখ্যানগতভাবে সাধারণ উদাহরণ হিসেবে পড়তে পারে।
এটি একই পরিসংখ্যানগত ক্ষেত্র, যা বৃহত্তর ব্যাখ্যায় সম্পূর্ণভাবে আলোচিত হয়েছে how AI detectors actually work সম্পর্কে: word-level predictability এবং sentence-level rhythm, এক document score-এ একত্রিত। Turnitin-এর classifier-এর সংস্করণটি proprietary, কিন্তু অন্তর্নিহিত ধারণা, যে generated text human writing-এর তুলনায় পরিসংখ্যানগতভাবে বেশি সাধারণ হতে থাকে, সেটিই এই শ্রেণির প্রতিটি tool-এর নিচে কাজ করছে।
| সাদৃশ্য স্কোর | AI স্কোর | |
|---|---|---|
| এটি কী পরিমাপ করে | জমা দেওয়া লেখার কতটা অংশ অন্য সূচিবদ্ধ নথির সঙ্গে মেলে | গদ্যটি পরিসংখ্যানগতভাবে সাধারণ AI-উৎপাদিত লেখার সঙ্গে কতটা ঘনিষ্ঠভাবে সাদৃশ্যপূর্ণ |
| উচ্চ সংখ্যাকে কী উদ্দীপিত করে | দীর্ঘ উদ্ধৃতি, ক্ষেত্র-নির্দিষ্ট সাধারণ বাক্যগঠন, পুনর্ব্যবহৃত উপাদান, অথবা পূর্ববর্তী জমা দেওয়ার সঙ্গে মিল | সমগ্র নথিজুড়ে একরকম বাক্যছন্দ এবং ধারাবাহিকভাবে পূর্বানুমেয় শব্দচয়ন |
| উচ্চ সংখ্যা কী প্রমাণ করে না | যে মেলানো পাঠ্যটি অনুচিতভাবে ব্যবহার করা হয়েছিল। সঠিকভাবে উদ্ধৃত উপাদানও তবু মিল হিসেবে নথিভুক্ত হতে পারে। | যে কোনো একক বাক্য AI দ্বারা উৎপাদিত হয়েছিল। শ্রেণিবিন্যাসকারীটি নথির সামগ্রিক ধরন পড়ে, একক কোনো পংক্তি বিচ্ছিন্নভাবে নয়। |
একটি প্রবন্ধে কি 0 শতাংশ সাদৃশ্য এবং 90 শতাংশ AI স্কোর থাকতে পারে?
হ্যাঁ, এবং এই সমন্বয়টি কোনো ত্রুটি নয়। দুটি স্কোর ভিন্ন প্রশ্নের উত্তর দেয়, তাই উচ্চ এবং নিম্নের চারটি সমন্বয়ই সম্ভব, এবং প্রতিটি সমন্বয় পাঠ্যটি কীভাবে উৎপাদিত হয়েছে সে সম্পর্কে ভিন্ন কিছু নির্দেশ করে।
- নিম্ন সাদৃশ্য, নিম্ন AI স্কোর: সাধারণ মৌলিক লেখা, যা মানবিক বৈচিত্র্যের স্বাভাবিক ছন্দেও পড়ে। অধিকাংশ প্রকৃত ছাত্রকর্মে এটি সাধারণ ঘটনা।
- নিম্ন সাদৃশ্য, উচ্চ AI স্কোর: মৌলিক বাক্য, কোথাও থেকে নকল নয়, কিন্তু পরিসংখ্যানগতভাবে পূর্বানুমেয়ভাবে পড়ে, যেমন উৎপাদিত পাঠ্য সাধারণত পড়ে। এটি অপ্রস্তুত AI লেখার বৈশিষ্ট্য, যা কেউ বিদ্যমান কোনো উৎস থেকে পুনর্বাক্যায়ন করেনি।
- উচ্চ সাদৃশ্য, নিম্ন AI স্কোর: এমন পাঠ্য যা বিদ্যমান মানব-লিখিত উৎসের সঙ্গে ঘনিষ্ঠভাবে মেলে, কিন্তু শ্রেণিবিন্যাসকারী যে পরিসংখ্যানগত সমতলতা উৎপাদনের সঙ্গে যুক্ত করে তা ছাড়া। নকল পাঠ্য, যা নতুনতরটির বদলে পুরোনো সরঞ্জাম দ্বারা ধরা পড়ে।
- উচ্চ সাদৃশ্য, উচ্চ AI স্কোর: এমন পাঠ্য যা এমন একটি বিদ্যমান উৎসের সঙ্গে মেলে, যা নিজেই AI-উৎপাদিত ছিল, যেমন পূর্বে জমা দেওয়া AI-লিখিত প্রবন্ধ বা উন্মুক্ত ওয়েব থেকে ইতিমধ্যে সূচিবদ্ধ AI-উৎপাদিত পাঠ্যের একটি পৃষ্ঠা।
এই সংমিশ্রণগুলোর কোনোটির জন্যই সফটওয়্যার দিক থেকে কোনো অস্বাভাবিক কিছুর প্রয়োজন হয় না। এগুলো এই সত্য থেকে উদ্ভূত যে একটি সিস্টেম মিল খোঁজে এবং অন্যটি একটি প্যাটার্ন খোঁজে, আর একটি পাঠ্যাংশে এই বৈশিষ্ট্যগুলোর যেকোনো একটি, উভয়টি, অথবা কোনোটিই নাও থাকতে পারে।
একটি উচ্চ AI স্কোর কী প্রমাণ করে, এবং কী প্রমাণ করে না
একটি উচ্চ AI স্কোর একটি পরিসংখ্যানগত অনুমান, পাঠ্য থেকে বের করে আনা কোনো স্বীকারোক্তি নয়। এটি বলে যে শ্রেণিবিন্যাসকারীর সামনে থাকা গদ্যটি, তার শব্দচয়ন ও ছন্দে, সেই ধরনের লেখার সঙ্গে সাদৃশ্যপূর্ণ, যেটিকে মডেলটি AI উৎপাদনের সঙ্গে যুক্ত করতে প্রশিক্ষিত হয়েছিল। এটি কোনো নির্দিষ্ট বাক্যকে নিশ্চিতভাবে যন্ত্র-লিখিত বলে শনাক্ত করে না, এবং নথিটি বাস্তবে কীভাবে তৈরি হয়েছিল সে সম্পর্কে কিছুই জানে না, কেবল এটি সম্পূর্ণ হওয়ার পর কেমন পড়ে তা জানে। TextPulse নিজের সংখ্যাগুলোর বিষয়ে একই অবস্থান নেয়, এটি যা জানায় তা হলো তার সামনে থাকা পাঠ্য থেকে গণনা করা একটি আনুমানিক Human Score, কোন টুল, যদি কোনোটি থাকে, নথিটিকে স্পর্শ করেছে সে বিষয়ে কোনো রায় নয়।
এই দুই সংখ্যার যেকোনোটির, কম similarity score বা উচ্চ AI score, ব্যবহারিক প্রতিক্রিয়া একই, এটিকে আরও কাছ থেকে দেখার কারণ হিসেবে নিন, চোখের দেখায় মেনে নেওয়া বা বাতিল করার মতো সিদ্ধান্ত হিসেবে নয়। খসড়া, নোট, এবং version history দেখায় একটি নথি বাস্তবে কীভাবে লেখা হয়েছিল, যা কোনো শতাংশ কখনোই দেখাতে পারে না, উভয় প্রতিবেদনের ক্ষেত্রেই। কেউ যদি জানতে চান তাদের নিজের খসড়ায় একটি শ্রেণিবিন্যাসকারী আসলে কীতে প্রতিক্রিয়া দিচ্ছে, তবে কোনো প্রতিবেদন তৈরি হওয়ার আগেই তারা একটি free perplexity checker দিয়ে একই শব্দ-স্তরের প্যাটার্ন নিজে দেখতে পারেন।
TextPulse-এর free tools collection খসড়াটি কোনো শিক্ষকের কাছে যাওয়ার আগেই যাচাই করার মতো অন্যান্য পরিসংখ্যানগত স্তরগুলোও অন্তর্ভুক্ত করে, এখানে তুলনা করা ওই দুইটি শুধু নয়।
দুটি সংখ্যা আলাদা হয়ে গেলে, পরবর্তী প্রশ্ন হলো কি একটি ভালো Turnitin score হিসেবে গণ্য হয়। শিক্ষার্থীরা সবচেয়ে বেশি যে অন্য detector-এর মুখোমুখি হয়, তার জন্য GPTZero কীভাবে কাজ করে তা নিজস্ব পাতায় ব্যাখ্যা করা হয়েছে।
দুটি সংখ্যা একই প্রতিবেদনে পাশাপাশি বসে থাকবে, এবং তাড়াহুড়ো করা মানুষ এগুলোকে একটিই সংখ্যা হিসেবে পড়তেই থাকবে। কোন প্রশ্নের উত্তর প্রতিটি সংখ্যা আসলে দিচ্ছে, তা জানা থাকলেই বিভ্রান্তিকর দুটি শতাংশকে দুটি পৃথক, উপযোগী তথ্যখণ্ডে রূপান্তর করা যায়।
সচরাচর জিজ্ঞাসিত প্রশ্ন
Turnitin similarity বনাম AI score নির্ভর করে প্রতিটি কী পরীক্ষা করে তার ওপর। similarity score জানায়, একটি submission-এর কতটা অংশ Turnitin-এর web pages, publications, এবং past student papers-এর database-এ ইতিমধ্যে থাকা text-এর সঙ্গে মেলে। AI score একটি পৃথক, স্বতন্ত্র measurement, যা অনুমান করে prose কতটা machine-generated বলে পড়ায়, এবং এতে কোনো database-এর প্রতি কোনো reference থাকে না। Turnitin-এর নিজস্ব documentation বলে, এই দুটি figure একে অপরকে প্রভাবিত করে না।
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
