একটি মূল্যায়ন ডিজাইন করুন যা ব্যর্থ হতে পারে

What this lesson is about

সহজ, কঠিন এবং সত্যিই অস্পষ্ট আইটেম নিয়ে একটি ছোট চেক সেট তৈরি করুন। তারপর পাশের স্কোরের মান থাকবে।

আপনার হিন্দি বাস-সময়সূচি সহায়কের জন্য দশটি পরীক্ষার প্রশ্নই এমন যা সে আগেই সঠিকভাবে উত্তর দেয়। এগুলো চালানোর আগে আপনি কী পরিবর্তন করবেন?

Why this matters

সিস্টেম তৈরি হওয়ার পর নির্বাচিত চেক সেট সাধারণত ইতিমধ্যে নেওয়া সিদ্ধান্তগুলো মাপতে থাকে।

একটি ছোট চেক সেট তৈরি করুন যার স্কোর কমতে পারে, এবং আগেই বলুন প্রতিটি আইটেম কী পরীক্ষা করে।

আজ সিস্টেম যেসব আইটেমে ব্যর্থ হওয়া উচিত সেগুলো অন্তর্ভুক্ত করুন।
চেক চালানোর আগে প্রত্যাশিত উত্তর লিখে রাখুন।
প্রতিটি আইটেম সহজ, কঠিন বা সত্যিই অস্পষ্ট লেবেল দিন।

Task

হিন্দি বাস-সময়সূচী হেল্পলাইন সহায়কের জন্য দশটি আইটেমের একটি সেট।

Weak approach হেল্পলাইনের নিজের কল লগ থেকে দশটি আসল প্রশ্ন সংগ্রহ করে। কিছু চালানোর আগে প্রত্যেকটির জন্য প্রত্যাশিত উত্তর লিখে রাখে। সব দশটি সঠিক আসে। সব দশটি প্রশ্নই এমন যা সহকারী আগেই উত্তর দেয়, তাই এই সেটের কোনো স্কোর হারানোর সুযোগ নেই।

Stronger approach চারটি দৈনন্দিন প্রশ্ন, চারটি পরিচিত ব্যর্থতা যেমন রাতের বাস এবং নাম পরিবর্তিত স্টপ, এবং দুইটি এমন প্রশ্ন যা কর্মীরাও নিয়ে বিতর্ক করে; প্রত্যেকটির প্রত্যাশিত উত্তর আগে লেখা।

Why the stronger approach works মজবুত সেট একটি ক্ষতি রিপোর্ট করতে পারে। সেটাই একমাত্র কারণ এটি চালানোর।

Try a changed situation আপনি এখন একটি সাধারণ সেবা কেন্দ্রে ফর্ম পূরণকারী সহায়কের পরীক্ষা করছেন। কোন নিয়ম এখনও প্রযোজ্য?

Make something yourself আপনি ভালো জানেন এমন একটি কাজের জন্য ছয়টি চেক আইটেম ডিজাইন করুন। দুইটি সহজ, দুইটি কঠিন এবং দুইটি সত্যিই অস্পষ্ট চিহ্নিত করুন। পরীক্ষার আগে প্রত্যেকটির প্রত্যাশিত উত্তর লিখুন।

Read the primary or official source: Holistic Evaluation of Language Models