ইনাম মডেল কী

What this lesson is about

দেখুন চিহ্নিত জোড়াগুলো থেকে কী তৈরি হয়: একটি স্কোরার, যা সঠিক উত্তর নয়, আপনার ক্রম অনুযায়ী প্রশিক্ষিত।

আপনার আটশো চিহ্নিত জোড়ার ব্যাচ সোমবার একটি ল্যাবে যাবে। একজন সহকর্মী জিজ্ঞেস করে ল্যাব সেখানে থেকে কী তৈরি করবে।

Why this matters

একটি প্রকাশিত সারাংশ রান এই কাঠামো দেখায়। চিহ্নিত জোড়াগুলো স্কোরারকে প্রশিক্ষণ দেয়, এবং মডেল পরে সেই স্কোরারের বিরুদ্ধে উন্নত করা হয়। তাই আপনার জোড়া এমন কোনো উত্তর নয় যা মডেল অনুকরণ করবে। এটি স্কোরারের নিজের শেখার একটি লাইন, এবং মডেল পরে সেই স্কোরারকে সন্তুষ্ট করার জন্য ধাক্কা খায়।

বর্ণনা করুন ইনাম মডেল কী, কী নিয়ে প্রশিক্ষিত হয়, এবং একটি চিহ্নিত জোড়া কী হয়।

ইনাম মডেল হলো একটি স্কোরার যা আপনার জোড়াগুলো থেকে শেখে, সঠিক উত্তর থেকে নয়।
একটি জোড়া শুধুমাত্র ক্রম শেখায়: ওই প্রশ্নে এই উত্তরটি অন্যটির চেয়ে উপরে।
মডেল পরে সেই স্কোর বাড়ানোর জন্য ধাক্কা খায়, তাই দুর্বল স্কোরার দুর্বল অভ্যাস শেখায়।

Task

স্বাস্থ্য সংক্রান্ত আটশো চিহ্নিত জোড়া প্রশিক্ষণের জন্য পাঠানো হচ্ছে। বলুন একটি জোড়া কী হয়।

Weak approach বলে প্রতিটি নির্বাচিত উত্তর মডেলের জন্য একটি কাজ করা উদাহরণ হয়। আটশো জোড়াকে আটশো আদর্শ উত্তর মনে করে যা মডেল অনুকরণ করবে।

Stronger approach বলে প্রতিটি জোড়া স্কোরারের জন্য একটি তুলনা হয়। স্কোরার শেখে যে একটি উত্তর অন্যটির চেয়ে উপরে। মডেল পরে সেই স্কোর বাড়ানোর জন্য ধাক্কা খায়।

Why the stronger approach works দুর্বল ব্যাখ্যা নির্বাচিত উত্তরকে অনুকরণ করার মতো আদর্শ উত্তর বানিয়ে দেয়। জোড়ায় ক্রম থাকে, শব্দ নয়।

Try a changed situation একটি দোকানের পর্যালোচনা দল মারাঠি জোড়াগুলো চিহ্নিত করে। তাদের স্কোরার এখন প্রায় সবসময় দীর্ঘ উত্তরটিকে উপরে রাখে।

Make something yourself এই সপ্তাহে আপনি যে একটি জোড়া চিহ্নিত করেছেন তা নিন। লিখুন স্কোরার তা থেকে কী শেখে, এবং একটি জিনিস যা তা থেকে শিখতে পারে না।

Read the primary or official source: Stiennon et al., Learning to summarize from human feedback (arXiv)