AI সনাক্তকরণে perplexity কী?
Perplexity হলো সেই সংখ্যা, যা একটি ভাষা মডেল আপনার শব্দ নির্বাচনের দ্বারা কতটা বিস্মিত হয়েছে তা বর্ণনা করতে তৈরি করে। এই পোস্টটি 1977 সালের উৎস পর্যন্ত মেট্রিকটির অনুসরণ করে, সূত্রটি ব্যাখ্যা করে, এবং দেখায় কেন একই অনুচ্ছেদ ভিন্নভাবে স্কোর করতে পারে, নির্ভর করে কোন মডেলটি পড়ছে তার ওপর.
perplexity এবং AI detection একসঙ্গে খুঁজলে, শীর্ষ ফলাফলের কয়েকটি দেখা যায় এমন একটি সম্পর্কহীন পণ্যের বিষয়ে: একটি AI-চালিত সার্চ ইঞ্জিন, যার নামও Perplexity। একটি detector বাস্তবে যে metric রিপোর্ট করে, তার সঙ্গে সেই কোম্পানির word ছাড়া আর কিছুই মেলে না। এটি GPTZero বা ওই সার্চ ইঞ্জিনের চেয়েও কয়েক দশক পুরোনো speech recognition গবেষণা থেকে এসেছে, এবং এটি এদের যেকোনোটির চেয়ে আরও সংকীর্ণ কিছু মাপে: একটি language model পৃষ্ঠায় আগে থেকেই থাকা শব্দগুলো দেখে কতটা বিস্মিত হয়।
তাহলে AI detection-এ perplexity কী? Perplexity হলো একটি score, যা বর্ণনা করে একটি language model কোনো passage-এর নির্দিষ্ট শব্দগুলো কতটা ভালোভাবে পূর্বানুমান করেছে, model-এর নিজস্ব probabilities গড় করে এবং ফলাফলকে একটি একক সংখ্যায় রূপান্তর করে এটি তৈরি করা হয়। কম score মানে model বারবার সঠিকভাবে অনুমান করেছে। বেশি score মানে এটি বারবার বিস্মিত হয়েছে।
এই ধারণা বাজারের যেকোনো AI detector-এর চেয়েও পুরোনো, এবং একা এটি কোনো document কে লিখেছে সে বিষয়ে কিছুই বলে না। সংখ্যাটির পেছনের arithmetic দৃশ্যমান হলে, একটি report-এ থাকা score আর verdict-এর মতো দেখায় না, বরং যা আসলে তা-ই দেখায়: word choice-এর একটি বর্ণনা।
AI detection-এ perplexity কী?
Perplexity হলো language modeling থেকে ধার করা একটি measurement। এটি একটি passage-এ যে নির্দিষ্ট শব্দগুলো আছে, সেগুলো একটি model কতটা ভালোভাবে পূর্বানুমান করেছে তা score করে এবং সেই score-কে একটি একক সংখ্যা হিসেবে রিপোর্ট করে। Detectors একই measurement একটি জমা দেওয়া document-এর ওপর প্রয়োগ করে: কম সংখ্যা, যার মানে model-এর অনুমানগুলো actual শব্দগুলোর সঙ্গে ঘনিষ্ঠভাবে মিলে গেছে, তা machine authorship-এর চিহ্ন হিসেবে পড়া হয়, এবং বেশি সংখ্যা human authorship-এর চিহ্ন হিসেবে পড়া হয়। এই calculation-এর কোনো অংশ document-এর argument, তার citations, বা তার subject matter পড়ে না। এটি শুধু একেকটি শব্দ কতটা প্রত্যাশিত ছিল, তা একবারে একটিকে করে পড়ে।
Detectors এই measurement আবিষ্কার করেনি। তারা এমন একটি tool ধার করেছে, যা speech recognition এবং machine translation systems বহু দশক ধরে ব্যবহার করত, একটি model সাধারণ ভাষা কতটা ভালোভাবে পূর্বানুমান করেছে তা বিচার করার জন্য, এবং সেটিকে authorship-এর একটি proxy হিসেবে পুনর্ব্যবহার করেছে, এমন একটি কাজের জন্য, যার জন্য এটি মূলত কখনোই তৈরি করা হয়নি।
এর কোনোটিরই আগে উল্লেখিত অসংশ্লিষ্ট সার্চ ইঞ্জিনের সঙ্গে কোনো সম্পর্ক নেই। একটি detector যে perplexity রিপোর্ট করে, তা কখনও কোনো কোম্পানি নয় এবং কখনও বড় হাতের অক্ষরে লেখা হয় না: এটি শব্দের একটি ধারার সরল পরিসংখ্যানগত বৈশিষ্ট্য, যা যে কোনো পাঠ্য দেওয়া হলে তা থেকে নতুন করে গণনা করা হয়।
perplexity আসলে কীভাবে গণনা করা হয়
এই গণনার উৎস কোনো AI পণ্যের চেয়েও অনেক আগে। Frederick Jelinek, Robert Mercer, Lalit Bahl এবং James Baker 1977 সালে perplexity প্রবর্তন করেন, যাতে একটি পরিসংখ্যানগত মডেলের জন্য একটি speech recognition কাজ কতটা কঠিন ছিল তা মাপা যায়, কোনো প্রবন্ধ বা ল্যাব রিপোর্টে এই শব্দ প্রয়োগ করার বহু দশক আগে। তখন থেকে সংজ্ঞা বদলায়নি।
একটি নথির প্রতিটি অবস্থানে, মডেলটি প্রকৃতপক্ষে যে শব্দটি পরের দিকে আসে, তার জন্য একটি সম্ভাবনা দেয়, যেমন একটি সাধারণ পরিবর্তনের জন্য 0.72 বা একটি অস্বাভাবিকটির জন্য 0.03। perplexity পুরো অনুচ্ছেদ জুড়ে সেই সম্ভাবনাগুলোর লগারিদমের গড় নেয়, তারপর সূচক ব্যবহার করে সেই গড়কে উল্টে দেয়।
there's-এ থাকা সূচকটি যতটা মনে হয়, তার চেয়ে বেশি কাজ করছে। লগ সম্ভাবনার গড় নেওয়াই ঠিক আমরা cross-entropy গণনা করার সময় করি, আর সেটি হলো তথ্যতাত্ত্বিক উপায়ে বলা, একটি মডেল যে পূর্বাভাস দেয় তার ভিত্তিতে একটি ধারাকে এনকোড করতে আপনার কত বিট দরকার। কিন্তু perplexity বিটের সেই সংখ্যাকে এমন কিছুর মধ্যে ফিরিয়ে আনে, যা আমরা আরও ভালোভাবে বুঝতে পারি: বিটের একটি বিমূর্ত গণনার বদলে, পছন্দের একটি কার্যকর সংখ্যা।
সেই গাণিতিক প্রক্রিয়ায় যা অবশিষ্ট থাকে, তার একটি পরিষ্কার, প্রায় ভৌত ব্যাখ্যা আছে। একটি মডেল যা প্রতিবার সম্পূর্ণ নিশ্চিত, তা 1 এর perplexity তৈরি করে, যা স্কেলের নিম্নসীমা। একটি মডেল যা প্রতিটি অবস্থানকে আশি সমান সম্ভাবনাময় শব্দের মধ্যে একটি সমান সম্ভাবনার বাজি হিসেবে ধরে, তা 80 এর perplexity তৈরি করে।
বেশিরভাগ বাস্তব নথি এই দুই চরমের মাঝামাঝি কোথাও অবস্থান করে, এবং ঠিক কোথায় তা নির্ভর করে লেখক, বিষয়বস্তু, এবং কোন মডেলটি পাঠ করছে তার উপর।
Humanize your own paper
Transform your AI-assisted text and make it sound human, without touching important words or citations.
মানবিক লেখন সাধারণত কেন ভিন্ন স্কোর করে
একটি মডেলের প্রত্যাশা সম্পূর্ণভাবে তার আগের যা এসেছে তা থেকে, এক শব্দ করে গঠিত হয়। 'the treatment group showed a statistically' বাক্যাংশটির পরে, সুগঠিত ধারাবাহিকতার বিপুল সংখ্যাগরিষ্ঠ অংশই হলো 'significant', এবং বিপুল পরিমাণ বৈজ্ঞানিক লেখায় প্রশিক্ষিত একটি মডেল দ্বিধা ছাড়াই সেই শব্দটিকে উচ্চ সম্ভাবনা প্রদান করে। একই বাক্যাংশে পৌঁছানো একজন মানব লেখকও 'significant' বেছে নিতে পারেন, কারণ বাক্যাংশটি নিজেই এই ধারার একটি স্থায়ী উপাদান। ফারাকটি অন্যত্র দেখা দেয়, দুইটি বাক্য পরে নির্বাচিত বিশেষ্যে, বন্ধনীর মধ্যে যোগ করা একটি মন্তব্যে, সমান সংখ্যার বদলে অদ্ভুত দশমিক স্থানে প্রতিবেদন করা সংখ্যায়।
এর কোনোটিই কৌশল নয়। বাস্তব তথ্য নিয়ে লিখতে থাকা একজন ব্যক্তি যখন সঠিক সংখ্যাটি, নির্দিষ্ট সূচকটি, সামান্য সংকীর্ণ শব্দটি খুঁজে নিতে চান, তখন তিনি কাজটির জন্য সত্য এমন বিষয়ের দিকে হাত বাড়ান, ধারার জন্য সত্য এমন বিষয়ের দিকে নয়। আর এই প্রতিটি পছন্দ মডেলের জন্য সামান্য বেশি বিস্ময় সৃষ্টি করে। বিস্ময়ই হলো সেই মান, যা স্কোরটি যোগ করে হিসাব করতে নির্মিত।
এখানে অনুমানটি পরিমাপের সমর্থনের চেয়ে বেশি কাজ করছে। Perplexity সরাসরি পূর্বানুমেয়তা পরিমাপ করে। এটি কেবল এই ধারণার ভিত্তিতে লেখকত্ব অনুমান করে যে পূর্বানুমেয় লেখা মানুষের মধ্যে বিরল এবং মডেলের মধ্যে সাধারণ, এমন একটি ধারণা যা সাধারণত যুক্তিসঙ্গত এবং কখনও কখনও নির্দিষ্ট, শনাক্তযোগ্য উপায়ে ভুল, কারণ পূর্বানুমেয়তা এমন একটি বৈশিষ্ট্য যা পাঠ্য ধারণ করতে পারে এমন সব কারণে, যেগুলোর সঙ্গে এটি কে টাইপ করেছে তার কোনো সম্পর্ক নেই।
একই অনুচ্ছেদ কেন ভিন্নভাবে স্কোর পেতে পারে
স্কোরটি দেখতেও যতটা বহনযোগ্য মনে হয়, বাস্তবে ততটা নয়, কারণ এটি কখনও শূন্যে মাপা হয় না। Perplexity সবসময় একটি নির্দিষ্ট রেফারেন্স মডেলের প্রশিক্ষণের বিপরীতে গণনা করা হয়, এবং সেই নির্ভরতা এমন সমস্যা তৈরি করে যা একক কোনো সংজ্ঞা নিজে থেকে দেখাতে পারে না।
| কারক | কী পরিবর্তন হয় | কেন তা ঘটে |
|---|---|---|
| কোন মডেল পাঠটি পড়ছে | একই অনুচ্ছেদ এক মডেলে কম স্কোর করতে পারে এবং অন্য মডেলে বেশি স্কোর করতে পারে | Perplexity কেবল এক মডেলের প্রশিক্ষণ ডেটার সঙ্গে তুলনা করে মাপা হয়, এবং ভিন্ন মডেল ভিন্ন পাঠ্যে প্রশিক্ষিত হয়েছে |
| অনুচ্ছেদটি ব্যাপকভাবে পুনরুৎপাদিত পাঠ কি না | একটি বিখ্যাত ঐতিহাসিক দলিল বা পাঠ্যপুস্তকের সংজ্ঞা কম perplexity স্কোর পেতে পারে, এমনকি একজন ব্যক্তি তার প্রতিটি শব্দ ডিটেক্টরে টাইপ করলেও | Pangram Labs স্বাধীনতার ঘোষণাপত্রকে একটি উদাহরণ হিসেবে উল্লেখ করে, এটি প্রশিক্ষণ ডেটায় এত ঘন ঘন উদ্ধৃত হয় যে একটি মডেল এর প্রতিটি বাক্যকে অপ্রত্যাশিত মনে করে না |
| ডিটেক্টরটি আদৌ token probabilities দেখতে পারে কি না | ChatGPT, Gemini এবং Claude-এর মতো বন্ধ বাণিজ্যিক মডেল per-word probabilities প্রকাশ করে না, যা perplexity-এর প্রয়োজন | ডিটেক্টরগুলো প্রকৃতপক্ষে যে মডেল পাঠটি তৈরি করেছে তার বিরুদ্ধে perplexity গণনা করার বদলে একটি বিকল্প open model ব্যবহার করে স্কোরটি আনুমানিকভাবে নির্ধারণ করে |
এর কোনোটিই সংখ্যাটিকে অর্থহীন করে না, কেবল এটিকে একক সিদ্ধান্ত হিসেবে বিশ্বাস করা আরও ঝুঁকিপূর্ণ করে তোলে। GPTZero-এর নিজস্ব ডকুমেন্টেশনে একসময় একটি আনুমানিক নিয়ম প্রকাশিত হয়েছিল, যেখানে 85-এর বেশি perplexity-কে বেশি মানবসদৃশ হিসেবে পড়া হয়, কিন্তু একটি মডেলে এক বিক্রেতার threshold অন্য একটি টুলে স্থানান্তরিত হয় না, যদি সেটি ভিন্ন একটি মডেলের বিরুদ্ধে মাপা হয়। একটি ডিটেক্টর যখন একটি একক স্কোর জানায়, তখন তা উপরের সব কারককে একটি সংখ্যায় সংকুচিত করছে, কিন্তু কোনটি কাজটি করেছে তা বলছে না।
একটি perplexity স্কোর আসলে আপনাকে কী বলে
বাণিজ্যিক ডিটেক্টরগুলো প্রতিবেদনেতে একটি একক সংখ্যা ছাপার আগেই perplexity-কে বাক্যস্তরের pattern, classifier training এবং আরও কয়েকটি signal-এর সঙ্গে একত্র করে। AI detectors আসলে কীভাবে কাজ করে তার পূর্ণতর চিত্র আলাদাভাবে আলোচিত হয়েছে, এবং তা ব্যাখ্যা করে এই সংখ্যার বাকি অংশ কোথা থেকে আসে।
বাক্য থেকে বাক্যে ছন্দ একটি সম্পর্কিত কিন্তু পৃথক সংকেত, যা burstiness checker নিজস্ব পরিসরে বিবেচনা করে, এবং এটি কোনো একক শব্দের বদলে একটি অনুচ্ছেদজুড়ে কতটা বৈচিত্র্য আছে তা দেখে।
এই সংখ্যাগুলোর কোনোটিই প্রমাণ করতে পারে না কে একটি নথি লিখেছে, এর মধ্যে TextPulse জমা দেওয়া খসড়া থেকে যে আনুমানিক Human Score গণনা করে সেটিও অন্তর্ভুক্ত, যা পাঠ্যটিকে বর্ণনা করে, কিন্তু সে সম্পর্কে কোনো রায় দেয় না। একই ধারণার একটি সরলীকৃত রূপ, পূর্ণ মডেল সম্ভাবনার বদলে শব্দভান্ডারের বৈচিত্র্য, এই সাইটের free perplexity checker চালায়, এবং কারও অন্যের সম্পর্কে একটি প্রতিবেদন কী বলে তা বিশ্বাস করার আগে, যার উৎস ইতিমধ্যে জানা আছে, এমন একটি অনুচ্ছেদের বিরুদ্ধে এটি পরীক্ষা করে দেখা মূল্যবান।
perplexity checker TextPulse-এর বাকি free tools-এর সঙ্গে পাশাপাশি রয়েছে, তাই একটি খসড়া, শব্দভান্ডার, ছন্দ এবং বাকি সবকিছুর ওপর পূর্ণ পরীক্ষা চালাতে একসঙ্গে ডজনখানেক আলাদা ট্যাব খোলা রাখার প্রয়োজন হয় না।
Perplexity হলো এই সিস্টেমগুলো যে 2টি পরিসংখ্যানের ওপর নির্ভর করে তার একটি। অন্যটি হলো burstiness, একটি অনুচ্ছেদজুড়ে বাক্যের দৈর্ঘ্য ও গঠনের বৈচিত্র্য, এবং এই দুটির নিচে রয়েছে token probability arithmetic, যা প্রথমেই স্কোর তৈরি করে।
একটি প্রতিবেদনে থাকা সংখ্যা হলো দীর্ঘ এক ধারাবাহিক গাণিতিক প্রক্রিয়ার শেষ, কোনো কিছু কে লিখেছে তা নিয়ে যুক্তির শুরু নয়। গাণিতিক প্রক্রিয়াটি আর রহস্যময় না হলে, আরও আকর্ষণীয় প্রশ্নটি হলো, প্রথমেই কী নির্দিষ্টভাবে একটি নথিকে বিস্ময়কর বা পূর্বানুমেয় করে তুলেছিল, এবং সেটি লেখাটির নিজের সম্পর্কে একটি প্রশ্ন।
Frequently Asked Questions
না। AI সনাক্তকরণে perplexity হলো ভাষা মডেলিং থেকে আসা দশক-পুরোনো একটি পরিসংখ্যানগত পরিমাপ, যা বর্ণনা করে একটি পাঠ্যাংশ মডেলের কাছে কতটা পূর্বানুমানযোগ্য। Perplexity AI হলো একটি সম্পর্কহীন কোম্পানি, যা একটি AI-চালিত অনুসন্ধান পণ্য তৈরি করে। এই দুটির মধ্যে নাম ছাড়া আর কিছুই মিল নেই, এবং এদের গুলিয়ে ফেললে detector-এর প্রতিবেদনের অর্থ বোঝা সহজ হবে না.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.