যে উত্তর দিয়ে অন্যদের মূল্যায়ন করা হয় তা লিখুন

What this lesson is about

অন্য কারো উত্তর বিচার না করে, নিজেই রেফারেন্স উত্তর লিখুন: যা জিজ্ঞাসিত বিষয়টি নির্ধারণ করে, তার ধাপগুলো দেখায়, এবং যেখানে প্রত্যাখ্যান করা উচিত সেখানে প্রত্যাখ্যান করে।

আপনি একটি দোকানদারের জন্য স্বর্ণ উত্তর লিখছেন যাকে জিজ্ঞাসা করা হয়েছে কাটা কাপড় ফেরত যাবে কিনা। প্রথমে আপনি কী লিখবেন?

Why this matters

অনেক প্রকল্প অন্য কারো উত্তর নয়, আদর্শ উত্তর নিজেই সংগ্রহ করে। মানব প্রতিক্রিয়া দিয়ে প্রশিক্ষণের প্রকাশিত কাজগুলোতে প্রথমে মানুষ কাঙ্ক্ষিত উত্তর লিখত, তারপর রেটিং করত। নরম রেফারেন্স উত্তর তার ওপর ভিত্তি করে প্রতিটি রেটিংকেও নরম করে।

সেই রেফারেন্স উত্তর লিখুন যার বিরুদ্ধে পরবর্তী সব রেটিং মাপা হবে।

স্বর্ণ উত্তর সেই বিষয়টি নির্ধারণ করে যা জিজ্ঞাসা করা হয়েছে, আপনি যা চান তা নয়।
প্রতিটি ধাপ দেখান যা রেটারকে পরীক্ষা করতে হবে, এমনকি আপনি মাথায় যা হিসাব করেন তাও।
যেখানে সঠিক উত্তর 'না', সেখানে স্বর্ণ উত্তর 'না' বলে এবং কেন তা ব্যাখ্যা করে।

Task

একজন কাপড় পাইকারী ব্যবসায়ীর গ্রাহক ফেরত সম্পর্কে লিখেছেন। তিনি ২ সেপ্টেম্বর চুরাশি মিটার কিনেছিলেন, যার মধ্যে ছয় মিটার তার মাপ অনুযায়ী কাটা হয়েছিল। এখন তিনি আট মিটার ফেরত দিতে চান।

Weak approach উত্তরে বলা হয়েছে ব্যবহার না করা পণ্য পনেরো দিনের মধ্যে ফেরত নেওয়া হয়, এবং বিল আনতে বলা হয়েছে। দোকানের গ্রাহকদের যত্নের কথা একটি লাইন যোগ করা হয়েছে। কাটা কাপড়ের উল্লেখ নেই।

Stronger approach লিখেছে পনেরো দিন গণনা শুরু হবে ২ সেপ্টেম্বর থেকে, তাই ১৭ সেপ্টেম্বর শেষ দিন। বলেছে ছয় মিটার কাটা কাপড় ফেরত নেওয়া যাবে না এবং কেন। তারপর যা খোলা আছে তা দিয়েছে: অপরিবর্তিত কাপড় একই বিলের বিপরীতে বিনিময় করা যাবে। শেষে গ্রাহককে কী আনতে হবে তা উল্লেখ করেছে।

Why the stronger approach works উভয় উত্তরই ভদ্র এবং কোনোটাই মিথ্যা নয়। এই গ্রাহকের বিষয়টি শুধুমাত্র একটি উত্তরই নির্ধারণ করে, এবং রেটার সেই লাইনটি নির্দেশ করতে পারে যা সিদ্ধান্ত নিয়েছে।

Try a changed situation আপনি এখন যে স্বর্ণ উত্তর লিখছেন তা একটি ৮ম শ্রেণির গণিত প্রশ্ন যা ছাড়ের উপর। এতে কী থাকা উচিত?

Make something yourself আপনার পরিচিত ব্যবসায় গ্রাহকরা যে প্রশ্নগুলো সত্যিই করে, সেগুলো নিন। তার জন্য স্বর্ণ উত্তর লিখুন। তারপর তিনটি লাইন লিখুন যেখানে রেটারকে মার্ক কমানোর কারণ দিতে হবে।

Read the primary or official source: Ouyang et al., Training language models to follow instructions (arXiv)