সরাসরি পছন্দ প্রশিক্ষণ

What this lesson is about

দুটি পথ তুলনা করুন: একটি স্কোরার প্রশিক্ষণ দিন এবং RL ব্যবহার করুন, অথবা মডেলকে সরাসরি জোড়া থেকে সরান।

একটি প্রতিষ্ঠান আপনার দলের কাছে বলেছে তারা আর এই কাজের জন্য স্কোরার তৈরি করবে না। কেউ বুঝতে পারছে না এর মানে কী।

Why this matters

পুরনো পথ আপনার জোড়া থেকে স্কোরার শেখায়, তারপর RL দিয়ে মডেল উন্নত করে। ২০২৩ সালে প্রকাশিত সরাসরি পছন্দ প্রশিক্ষণ স্কোরার বাদ দিয়ে মডেলকে সরাসরি নির্বাচিত ও প্রত্যাখ্যাত উত্তরের থেকে পরিবর্তন করে। আপনার মার্কিং পদ্ধতি অপরিবর্তিত থাকে। একটি অভ্যাস এখন বেশি ব্যয়বহুল: সমতার মার্ক দেওয়া জোড়া এই পথকে কিছুই দেয় না।

বর্ণনা করুন সরাসরি পছন্দ প্রশিক্ষণ পুরনো দুই-ধাপের পথ থেকে কীভাবে আলাদা, এবং এটি আপনার ব্যাচ থেকে কী চায়।

সরাসরি পছন্দ প্রশিক্ষণ মডেলকে সরাসরি নির্বাচিত ও প্রত্যাখ্যাত উত্তরের থেকে পরিবর্তন করে।
পুরনো পথ দুই ধাপ প্রয়োজন: প্রথমে স্কোরার শেখান, তারপর RL দিয়ে মডেল উন্নত করুন।
আপনার ব্যাচে দেখতে হবে কতগুলো জোড়ায় আপনি সমতার মার্ক দিয়েছেন।

Task

একজন ক্রেতা আপনার দলের কাছে তিনশো পুরনো জোড়া পুনরায় পরীক্ষা করার অনুরোধ করেছে সরাসরি পছন্দ রানের জন্য।

Weak approach বলে যে পুরনো মার্কগুলো চলবে, কারণ উত্তরগুলো বদলায়নি এবং ভাল উত্তরে মার্ক আছে। শীট না খুলেই সব তিনশো জোড়া পাঠিয়ে দেয়।

Stronger approach প্রথমে সমতার মার্ক গুনে পায় তিনশোর মধ্যে একচল্লিশটি। সেগুলো ফেরত পাঠায় সিদ্ধান্ত নেওয়ার বা বাদ দেওয়ার জন্য, এবং কারণ শীটে লিখে দেয়।

Why the stronger approach works দুজনই একই ব্যাচ পুনরায় পড়েছে। শুধুমাত্র শক্তিশালী উত্তর সেই মার্কগুলো গুনেছে যা এই রান ব্যবহার করতে পারবে না।

Try a changed situation আপনার তিনশো জোড়ার মধ্যে একচল্লিশটি সমতার মার্ক আছে। ক্রেতা এই সপ্তাহে সরাসরি পছন্দ রান চায়।

Make something yourself আপনি যে জোড়ায় মার্ক করেছেন সেই ব্যাচ নিন। বলুন কতগুলো সমতার মার্ক আছে, এবং সরাসরি পছন্দ রানের আগে তাদের সঙ্গে আপনি কী করবেন।

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)