सीधा पसंद सिखब

What this lesson is about

दू टा रास्ता के तुलना करू: एकटा स्कोरर सिखाउ आ RL के उपयोग करू, वा मॉडल के जोड़ी सँ सीधे आगू बढ़ाउ।

एकटा संस्था अहाँक मंडली सँ कहैत अछि जे ओ आब स्कोरर नहि बनाओत। कोनो कियो नहि बुझि पाबि रहल अछि।

Why this matters

पुरान रास्ता जोड़ी सँ स्कोरर सिखबैत अछि, फेर RL सँ मॉडल के सुधार करैत अछि। 2023 में प्रकाशित सीधा पसंद सिखब स्कोरर छोड़ि कऽ सीधे चुनल आ अस्वीकृत उत्तर सँ मॉडल के बदलैत अछि। अहाँक निशान लगेनाई नहि बदलैत अछि। एकटा आदत महँग भऽ जाइत अछि: जे जोड़ी पर बराबरी निशान अछि, ओहि सँ ई रास्ता किछु नहि पबैत अछि।

बताउ जे सीधा पसंद सिखब पुरान दू-चरण वाला रास्ता सँ कोना भिन्न अछि आ ई अहाँक बैच सँ की मांग करैत अछि।

सीधा पसंद सिखब मॉडल के सीधे चुनल आ अस्वीकृत उत्तर सँ बदलैत अछि।
पुरान रास्ता दू चरण चाहैत अछि: पहिने स्कोरर सिखाउ, फेर RL सँ मॉडल सुधारू।
अहाँक बैच में देखबाक संख्या अछि जे कतबा जोड़ी पर अहाँ बराबरी निशान लगौलहुँ।

Task

एकटा ग्राहक अहाँक मंडली सँ तीन सौ पुरान जोड़ी फेर सँ देखबाक कहलक सीधा पसंद रन लेल।

Weak approach कहैत अछि जे पुरान निशान ठीक अछि, कारण उत्तर नहि बदलल अछि आ नीक उत्तर पर निशान अछि। बिना शीट खोलने तीन सौ जोड़ी आगू पठा देलक।

Stronger approach पहिने बराबरी निशान गिनलक आ तीन सौ में इकतालीस भेटल। हुनका निर्णय लेल वा हटेबाक लेल वापस पठेलक आ कारण शीट पर लिखलक।

Why the stronger approach works दूनू एकहि बैच फेर सँ पढ़लक। मात्र मजबूत जवाब ओहि निशान के गिनलक जे ई रन उपयोग नहि कऽ सकैत अछि।

Try a changed situation अहाँक तीन सौ जोड़ीक में इकतालीस पर बराबरी निशान अछि। ग्राहक एहि सप्ताह सीधा पसंद रन चाहैत अछि।

Make something yourself अहाँ जे जोड़ी पर निशान लगौलहुँ, ओहि बैच लिअ। बताउ कतबा बराबरी अछि आ सीधा पसंद रन सँ पहिने हुनका संग की करतहुँ।

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)