నేరుగా ప్రాధాన్యత శిక్షణ

What this lesson is about

రెండు మార్గాలను పోల్చండి: స్కోరర్‌ను శిక్షణ ఇవ్వడం మరియు RL ఉపయోగించడం, లేదా జంట నుండి మోడల్‌ను నేరుగా మార్చడం.

ఒక సంస్థ మీ సర్కిల్‌కు ఈ పని కోసం ఇకపై స్కోరర్‌ను తయారు చేయదని చెప్తుంది. గదిలో ఎవరికీ అర్థం కావడం లేదు.

Why this matters

పాత మార్గం జంటల నుండి స్కోరర్‌ను శిక్షణ ఇస్తుంది, ఆపై RL తో మోడల్‌ను మెరుగుపరుస్తుంది. 2023లో ప్రచురించిన నేరుగా ప్రాధాన్యత శిక్షణ స్కోరర్‌ను తీసివేస్తుంది మరియు ఎంచుకున్న మరియు తిరస్కరించిన జవాబుల నుండి మోడల్‌ను నేరుగా మార్చుతుంది. మీ మార్కింగ్ మారదు. ఒక అలవాటు ఇప్పుడు ఎక్కువ ఖర్చవుతుంది: సమానతగా గుర్తించిన జంట ఈ మార్గానికి ఏమీ ఇవ్వదు.

నేరుగా ప్రాధాన్యత శిక్షణ పాత రెండు దశల మార్గం నుండి ఎలా భిన్నమో, మరియు అది మీ బ్యాచ్ నుండి ఏమి కోరుతుందో చెప్పండి.

నేరుగా ప్రాధాన్యత శిక్షణ మోడల్‌ను ఎంచుకున్న మరియు తిరస్కరించిన జవాబుల నుండి నేరుగా మార్చుతుంది.
పాత మార్గం రెండు దశలను అవసరం: స్కోరర్‌ను నేర్పించండి, ఆపై RL తో మోడల్‌ను మెరుగుపరచండి.
మీ బ్యాచ్‌లో మీరు గమనించవలసిన సంఖ్య సమానతగా గుర్తించిన జంటల సంఖ్య.

Task

ఒక కొనుగోలుదారు మీ సర్కిల్‌ను నేరుగా ప్రాధాన్యత రన్ కోసం మూడు వందల పాత జంటలను తిరిగి తనిఖీ చేయమని కోరుతాడు.

Weak approach పాత మార్కులు సరిపోతాయని చెబుతుంది, ఎందుకంటే జవాబులు మారలేదు మరియు మంచి జవాబు ఇప్పటికే గుర్తించబడింది. షీట్ తెరవకుండా మూడు వందల జంటలను పంపిస్తుంది.

Stronger approach మొదట సమానతలను లెక్కించి, మూడు వందలలో 41 కనుగొంటుంది. వాటిని నిర్ణయించడానికి లేదా తొలగించడానికి తిరిగి పంపిస్తుంది, కారణాన్ని షీట్‌పై రాస్తుంది.

Why the stronger approach works రెండు మంది ఒకే బ్యాచ్‌ను మళ్లీ చదివారు. కేవలం బలమైనవారు ఈ రకమైన రన్ ఉపయోగించలేని మార్కులను లెక్కించారు.

Try a changed situation మీ మూడు వందల జంటల్లో 41 సమానతలు ఉన్నాయి. కొనుగోలుదారు ఈ వారం నేరుగా ప్రాధాన్యత రన్ కోరుతున్నాడు.

Make something yourself మీరు గుర్తించిన జంటల బ్యాచ్ తీసుకోండి. సమానతల సంఖ్యను నివేదించండి, మరియు నేరుగా ప్రాధాన్యత రన్ ముందు వాటితో మీరు ఏమి చేస్తారో చెప్పండి.

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)