ফ্রি বার্স্টিনেস চেকার বাক্য-দৈর্ঘ্যের বিস্তার চিত্রিত করুন

একটি অংশ জুড়ে বাক্যের দৈর্ঘ্যগুলোর spread, গড় দৈর্ঘ্য থেকে স্বাধীন। দুটি অংশ একই গড়, প্রতি বাক্যে ১৮ শব্দ, ভাগ করে নিতে পারে এবং তবুও সম্পূর্ণ ভিন্নভাবে পড়তে পারে: একটিতে প্রতিটি বাক্য সেই গড়ের কয়েক শব্দের মধ্যে থাকে, অন্যটিতে ছয় শব্দের বাক্য এবং চল্লিশ শব্দের বাক্য পর্যায়ক্রমে আসে। চেকার spread কে variation coefficient হিসেবে রিপোর্ট করে, অর্থাৎ প্রতি বাক্যে শব্দের স্ট্যান্ডার্ড ডিভিয়েশনকে গড় দিয়ে ভাগ করা হয়, তাই সংখ্যাটি একটি একক সাধারণ দৈর্ঘ্যের বদলে বণ্টনকে প্রতিফলিত করে।

কারণ একটি language model সবচেয়ে সম্ভাব্য পরবর্তী অংশ তৈরি করতে গিয়ে নিজের পরিসরের মধ্যভাগের কাছাকাছি বাক্যদৈর্ঘ্যে স্থির হতে থাকে, ফলে raw model output-এ প্রায়ই কয়েকটি শব্দের ব্যবধানে কাছাকাছি বাক্যের একটি ধারা তৈরি হয়। এই গুচ্ছবদ্ধতা একটি বণ্টনগত বৈশিষ্ট্য, এবং burstiness হলো সংখ্যার একটি সেট তার নিজস্ব কেন্দ্রের চারপাশে কতটা ঘনভাবে গুচ্ছবদ্ধ, তা পরিমাপ করার সরাসরি উপায়।

প্রায় 45 শতাংশ এবং তার বেশি হলে তা বিস্তৃত পরিসর নির্দেশ করে, যেখানে সংশোধিত গদ্যে সাধারণত ছোট এবং বড় বাক্যের মিশ্রণ থাকে। প্রায় 20 থেকে 45 শতাংশের মধ্যে হলে তা মাঝারি বিস্তার। 20 শতাংশের কম হলে দৈর্ঘ্যগুলো ঘনভাবে গুচ্ছবদ্ধ হয় এবং ছন্দটি একরকম পড়ে। এগুলোকে থ্রেশহোল্ড নয়, বরং রেফারেন্স পয়েন্ট হিসেবে ধরুন; নম্বরযুক্ত একটি পদ্ধতি-ধারা (methods section) থাকলে কিছু ক্ষেত্রে স্কোর কম হতে পারে, তবু কিছু ভুল হচ্ছে না।

এ ধরনের কোনো দাবি নেই। এটি কেবল বাক্যের দৈর্ঘ্য সম্পর্কিত একটি বণ্টন-সংক্রান্ত পরিসংখ্যান রিপোর্ট করে, এর বাইরে কিছু নয়। ঘনভাবে গুচ্ছবদ্ধ একটি বণ্টন প্রায়ই সম্পাদনা না করা AI আউটপুটে দেখা যায়, এজন্যই মানুষ এটি পরীক্ষা করে, এবং এটি এমন মানব-লেখাতেও দেখা যায় যা সম্পাদনার সময় জোরে পড়ে শোনা হয়নি। সংখ্যাটি পাঠ্যের ভেতরের একটি প্যাটার্ন বর্ণনা করে, এবং এর উৎস সম্পর্কে কিছু বলে না।

হ্যাঁ, কারণ একটি একক সহগ পুরো একটি বণ্টনকে একটিমাত্র সংখ্যায় গুটিয়ে দেয়। একটি অনুচ্ছেদে যদি একটি খুব দীর্ঘ বাক্য থাকে এবং বাকি বাক্যগুলো ছোট হয়, তবে তা এমন একটি অনুচ্ছেদের কাছাকাছি স্কোর করতে পারে যেখানে ছোট থেকে বড়ের দিকে মসৃণ গ্রেডিয়েন্ট আছে, যদিও দুটো জোরে পড়লে একেবারেই একরকম শোনায় না। নিচের চার্টটি ঠিক এই কারণেই আছে, এটি দেখায় সংখ্যাটি যে সারাংশ দিচ্ছে তার আকৃতি, কেবল সারাংশটুকু নয়।

প্রথমে জোরের জন্য সম্পাদনা করুন, তারপর বণ্টনকে অনুসরণ করতে দিন। প্রতিটি অনুচ্ছেদে যে বাক্যটি প্রকৃত দাবি বহন করছে, সেটি খুঁজে ছোট করুন। দুটি পাতলা, সম্পর্কিত বাক্যকে একটিতে একত্র করুন। তিনটি উপবাক্য স্তূপীকৃত একটি বাক্যকে তার স্বাভাবিক সংযোগস্থলে ভাগ করুন। এই প্রতিটি সম্পাদনা বণ্টনের আকৃতি বদলায়, কারণ গদ্যটি আরও ভালোভাবে পড়া যায়, এবং কার্যকারণ সম্পর্কের দিকও সেটাই হওয়া উচিত।