AI-লিখিত টীকা কেন অস্তিত্বহীন প্রবন্ধ বর্ণনা করে

একজন সুপারভাইজার একই বাক্যগঠন টানা দশবার পড়েন, একটি টীকাযুক্ত গ্রন্থপঞ্জি খুলে, সেটি উচ্চস্বরে পড়েন, এক পৃষ্ঠা থেকে আরেক পৃষ্ঠা: এই গবেষণাটি X এবং Y-এর মধ্যে সম্পর্ক পরীক্ষা করে, Z অন্বেষণের জন্য অংশগ্রহণকারীদের একটি নমুনা ব্যবহার করে, এবং এই সিদ্ধান্তে পৌঁছায় যে আরও গবেষণা প্রয়োজন। সব এন্ট্রি সাবলীলভাবে পড়া যায়। শিরোনাম দিয়ে অনুসন্ধান করা বারোটি উৎসের মধ্যে দুটি অস্তিত্বহীন।

গ্রন্থপঞ্জিতে AI দ্বারা কল্পিত উদ্ধৃতিগুলি খুব কমই রেফারেন্স লাইনে নিজেদের প্রকাশ করে। একটি বানানো লেখকের নাম এবং একটি বানানো জার্নাল, কেউ সেগুলির খোঁজ না করা পর্যন্ত, একেবারে আসলগুলোর মতোই দেখাতে পারে। প্রায় প্রতিবারই, এই ভুয়া নির্মাণকে প্রথমে ফাঁস করে দেয় তার নিচে থাকা টীকা, একটি অনুচ্ছেদ যা এমন আত্মবিশ্বাস নিয়ে একটি প্রবন্ধের পদ্ধতি ও ফলাফল বিস্তারিতভাবে বর্ণনা করে, অথচ সেই প্রবন্ধটি কখনও লেখা হয়নি।

গ্রন্থপঞ্জিতে AI দ্বারা কল্পিত উদ্ধৃতি কীভাবে শনাক্ত করবেন

রেফারেন্স লাইনের আগে টীকা পড়ুন। একটি উদ্ধৃতি নিজে, একজন লেখক, একটি বছর, একটি জার্নাল, একটি DOI, এগুলো সবই ছোট ছোট গঠিত বিন্যাস, যা একটি ভাষা মডেল হাজার হাজার বার দেখেছে, এবং বাস্তবে কিছু না থাকলেও সেগুলো কাকতালীয়ভাবে বা মুখস্থের কারণে সঠিক মনে হতে পারে। অন্যদিকে, একটি টীকাকে অবশ্যই সেই নির্দিষ্ট প্রবন্ধটি আসলে কী করেছে সে সম্পর্কে কিছু বলতে হবে, এমন পর্যাপ্ত বিশদসহ যাতে আপনি তা সত্য না মিথ্যা তা যাচাই করতে পারেন। যদি কোনো মডেল উৎসটি পুনরুদ্ধার না করে বা না পড়ে, তবে এটি নির্ভরযোগ্যভাবে তা করতে পারবে না, এবং DOI পরীক্ষা করার অনেক আগেই ফলাফলে সাধারণত্ব প্রকাশ পাবে।

কেন টীকা উদ্ধৃতির চেয়ে বেশি কিছু ফাঁস করে দেয়

একটি বানানো উদ্ধৃতি হলো রেফারেন্সের ছদ্মবেশে অনুমান: একটি সম্ভাব্য লেখক, একটি সম্ভাব্য জার্নাল, সঠিক সংখ্যক অঙ্কসহ DOI-আকৃতির একটি স্ট্রিং। একটি বানানো টীকা হলো বোধগম্যতার ছদ্মবেশে অনুমান, এবং পূর্ণ একটি অনুচ্ছেদ জুড়ে বোধগম্যতাকে বিশ্বাসযোগ্যভাবে নকল করা অনেক বেশি কঠিন। মডেলকে একটি নমুনা, একটি পদ্ধতি এবং একটি ফলাফলের দিক সম্পর্কে নিশ্চিত হতে হয়, এবং এই প্রতিটি বিবরণ এমন একটি স্থান যেখানে একটি বাস্তব প্রবন্ধ তাকে খণ্ডন করতে পারে।

এটিও কারণ যে একটি annotation, একটি খালি citation-এর তুলনায়, পাঠকের পক্ষে যাচাই করা সহজ। একটি reference, source বাস্তব হোক বা না হোক, একইভাবে format করা হয়, তাই এর আকৃতি একা কোনো তথ্য ফাঁস করে না। একটি annotation নির্দিষ্ট content সম্পর্কে একটি নির্দিষ্ট দাবি করে, তাই তা হয় actual paper দ্বারা সমর্থিত, নয়তো নয়, এবং real abstract-এর সঙ্গে কয়েক মিনিটের তুলনাই নির্ধারণ করে দেয় কোনটি সঠিক।

একটি Model কী লেখে, যখন সে কখনও আসলে Paperটি পড়েনি

একটি language model-কে এমন একটি source annotate করতে বলুন, যার জন্য তার কাছে কেবল একটি title এবং একটি মোটামুটি topic আছে, এবং সে না তো অস্বীকার করবে, না তো সতর্কভাবে কথা বলবে। সে সেই paragraph অনুমান করে, যা ওই title-এর একটি paper সম্ভবত ধারণ করত, training-এ দেখা হাজার হাজার অনুরূপ abstract থেকে নির্মিত, এবং সেটি একই আত্মবিশ্বাসী register-এ ফিরিয়ে দেয়, যা সে এমন একটি paper-এর জন্য ব্যবহার করত, যেটি সে line by line quote করতে পারত।

এটি পড়তে লাগে যেন ওই topic-এর আশেপাশে কখনও যা কিছু লেখা হয়েছে, তার গড়। sleep and memory নিয়ে একটি study-এর সৎ summary আপনাকে real study participants-এর নাম, real test এবং reported real effect size দেবে। একটি বানানো summary বলবে study-টি দেখেছে মানুষ কতটা ভালো ঘুমিয়েছে এবং তাদের memory, এবং পেয়েছে যে তাদের মধ্যে একটি strong link ছিল। এটি এতটাই generic যে অন্য, সম্পর্কহীন title-এর নিচেও স্বচ্ছন্দে বসে যেতে পারে।

কি পরীক্ষা করতে হবে	একটি প্রকৃত টীকায় সাধারণত এটি থাকে	একটি জাল টীকায় সাধারণত এর বদলে এটি থাকে
সংখ্যা	বাস্তব সারসংক্ষেপের সঙ্গে মিলে যায় এমন একটি নির্দিষ্ট নমুনা আকার, প্রভাবের আকার বা শতাংশ	কোনো সংখ্যা নেই, অথবা একটি গোলাকার, যাচাই করা যায় না এমন মান, যা প্রকৃত উৎসে কোথাও দেখা যায় না
পদ্ধতি	উল্লেখিত প্রকৃত পদ্ধতি, একটি নির্দিষ্ট পরীক্ষা, নকশা বা ডেটাসেট	"একটি গবেষণা" বা "একটি বিশ্লেষণ" সম্পর্কে অস্পষ্ট ইঙ্গিত, যেখানে কোনো পদ্ধতির নাম নেই
সীমাবদ্ধতা	লেখকেরা নিজেরাই যে একটি সীমাবদ্ধতা উত্থাপন করেছেন, যা তাদের নকশার সঙ্গে নির্দিষ্ট	ক্ষেত্রের প্রায় যেকোনো প্রবন্ধের ক্ষেত্রেই প্রযোজ্য এমন একটি সাধারণ সীমাবদ্ধতা
তথ্যসূত্রের মিল	উদ্ধৃতিটি এমন একটি প্রকৃত রেকর্ডে পৌঁছে, যার শিরোনাম টীকার সঙ্গে মেলে	তথ্যসূত্রটি পৌঁছায় না, অথবা অন্য, সম্পর্কহীন কোনো প্রবন্ধে পৌঁছে

এই পরীক্ষাগুলোর কোনোটির জন্যই পুরো প্রবন্ধ পড়া প্রয়োজন হয় না। এগুলোর জন্য কেবল একবার প্রবন্ধটি খুলে যথেষ্ট সময় ধরে দেখা দরকার, যাতে বোঝা যায় টীকায় উল্লিখিত নির্দিষ্ট দাবিগুলো সত্যিই সারসংক্ষেপে আছে কি না।

কেন একটি জালিয়াতির হার নির্ধারণে মডেলের সংস্করণ এবং একটি তারিখ দরকার

সমস্যার পরিসর পরিমাপ করা হয়েছে, যদিও সেই পরিমাপগুলো একে অপরের সঙ্গে মেলে না, কারণ তারা কখনো একই জিনিস মাপছিল না। 2023 সালে একই দিনে একই 42টি একাডেমিক বিষয়ে ChatGPT-3.5 এবং ChatGPT-4 পরীক্ষা করে, গবেষকেরা দেখেন GPT-3.5-এর উদ্ধৃতির 55 শতাংশ সম্পূর্ণ জাল, যেখানে GPT-4-এর ক্ষেত্রে তা 18 শতাংশ। একই প্রম্পট, একই গবেষক, একই দিন, শুধু মডেল বদলেছিল, এবং হার দুই-তৃতীয়াংশ কমে যায়।

একটি পৃথক গবেষণা, যেখানে গ্রন্থপঞ্জিগত উদ্ধৃতির বদলে কল্পিত কেস-তথ্য পরীক্ষা করা হয়েছিল, 2024 সালে প্রকাশিত গবেষণায় দেখা যায় যে বাস্তব ফেডারেল আদালতের মামলাসংক্রান্ত যাচাইযোগ্য প্রশ্নে ChatGPT-4 58 percent সময় ভুল ছিল, এবং Llama 2 88 percent সময় ভুল ছিল। ওই সংখ্যা ভিন্ন মডেলে ভিন্ন কাজকে বর্ণনা করে, এবং উপরের উদ্ধৃতি-জালিয়াতির সংখ্যার সঙ্গে একত্র করে একটি সামগ্রিক হারের মধ্যে গড় করা উচিত নয়। উভয় গবেষণার যে বিষয়ে একমত, তা হলো সমস্যার রূপ, একটি model version এবং একটি date যুক্ত না থাকলে কোনো percentage-ই নির্দিষ্ট কিছু বোঝায় না। 2023 থেকে 2026 পর্যন্ত বিস্তৃত এমন ছয়টি গবেষণাজুড়ে বৃহত্তর ধারা নিজেই একটি পৃথক বিষয়, does ChatGPT make up references সেটি সম্পূর্ণভাবে আলোচনা করে। গ্রন্থপঞ্জির ক্ষেত্রে বিশেষভাবে যা গুরুত্বপূর্ণ, তা আরও সংকীর্ণ, annotation কি DOI যাচাই করার আগেই জালিয়াতিটিকে প্রকাশ করে কি না।

AI-Drafted Annotated Bibliography-র প্রতিটি Entry কীভাবে পরীক্ষা করবেন

reference line দিয়ে শুরু করুন, Google Scholar বা journal-এর নিজস্ব site-এ exact title খুঁজুন, এবং DOI-কে unconfirmed হিসেবে বিবেচনা করুন যতক্ষণ না তা সত্যিই ওই title-এ resolve হয়, কারণ fabricated citation এমন একটি DOI বহন করতে পারে যা অন্য কারও real, unrelated paper-এ নিয়ে যায়। An AI citation checker that resolves each entry against a real scholarly database এই search-টি automate করে, প্রতিটি single source-এর জন্য manual lookup-এর ওপর তা ছেড়ে না দিয়ে।

তারপর annotation-টিকে source-এর সঙ্গে মিলিয়ে দেখুন, তা কতটা convincing শোনায় তার সঙ্গে নয়। actual abstract খুলে sample, method এবং annotation যে finding দাবি করছে, তা সত্যিই তাতে আছে কি না নিশ্চিত করুন। A free annotated bibliography generator that grounds every summary in the paper's own abstract, memory থেকে একটি summary compose করার বদলে, source-grounded annotation কেমন দেখায় তা এমন একটির পাশে দেখায় যা তা নয়।

যে entries audit টিকে survive করে, তাদের জন্য citing ChatGPT in APA এবং citing ChatGPT in MLA প্রতিটি ধাপে ধাপে উপস্থাপিত হয়েছে।

আপনি একবার নিশ্চিত হয়ে গেলে যে এটি বাস্তব, তখন একটি এন্ট্রি কীভাবে বিন্যাস করবেন, এর কোনোটিই তা বদলায় না। ChatGPT নিজেকে কীভাবে উদ্ধৃত করতে হয় একটি পৃথক প্রশ্ন, যা APA, MLA, Chicago এবং IEEE এর জন্য সম্পূর্ণভাবে আলোচিত হয়েছে, এবং একটি citation generator শৈলী নির্বিশেষে সাধারণ reference একইভাবে বিন্যাস করে। কিন্তু কোনোটিই এমন একটি annotation ধরতে পারে না, যা এমন একটি paper-এর বর্ণনা দেয় যা কেউ লেখেনি, এবং যা এতটাই সাবলীল যে কেউ তা যাচাই করার কথা ভাবেনি।