రివార్డ్ మోడల్ అంటే ఏమిటి

What this lesson is about

మార్క్ చేసిన జంటల నుంచి ఏం తయారవుతుందో చూడండి: మీ ఆర్డర్ ఆధారంగా శిక్షణ పొందిన స్కోరర్, సరైన సమాధానం మీద కాదు.

మీ 800 మార్క్ చేసిన జంటల బ్యాచ్ సోమవారం ఒక ప్రయోగశాలకు వెళుతుంది. ఒక సహచరుడు అక్కడి నుంచి ఏం తయారవుతుందో అడుగుతాడు.

Why this matters

ప్రచురించిన సారాంశంలో ఇదే నమూనా కనిపిస్తుంది. మార్క్ చేసిన జంటలతో స్కోరర్ శిక్షణ పొందుతుంది, ఆ తర్వాత మోడల్ ఆ స్కోరర్ ఆధారంగా మెరుగుపరుస్తారు. కాబట్టి మీ జంట మోడల్ కాపీ చేసుకునే సమాధానం కాదు. అది స్కోరర్ యొక్క స్వంత బోధనలో ఒక పంక్తి మాత్రమే. తర్వాత మోడల్ ఆ స్కోరర్‌ను సంతోషపర్చేందుకు ప్రేరేపించబడుతుంది.

రివార్డ్ మోడల్ అంటే ఏమిటి, దానిని ఏమీపై శిక్షణ ఇస్తారు, మరియు ఒక మార్క్ చేసిన జంట ఏం అవుతుంది చెప్పండి.

రివార్డ్ మోడల్ అనేది మీ జంటలపై శిక్షణ పొందిన స్కోరర్, సరైన సమాధానంపై కాదు.
ఒక జంట కేవలం ఆర్డర్ నేర్పుతుంది: ఆ అభ్యర్థనకు ఈ జవాబు ఆ జవాబుకు మించి ఉంది.
తర్వాత మోడల్ ఆ స్కోర్ పెంచేందుకు ప్రేరేపించబడుతుంది, కాబట్టి బలహీన స్కోరర్ బలహీన అలవాట్లు నేర్పుతుంది.

Task

ఆరోగ్య సంబంధిత జవాబుల 800 మార్క్ చేసిన జంటలు శిక్షణకు పంపబడతాయి. ఒక జంట ఏం అవుతుందో చెప్పండి.

Weak approach ప్రతి ఎంచుకున్న జవాబు మోడల్ కోసం శిక్షణ ఉదాహరణగా మారుతుందని చెప్తుంది. 800 జంటలను 800 సరైన సమాధానాలు అని భావించి మోడల్ వాటిని కాపీ చేస్తుందని పఠిస్తుంది.

Stronger approach ప్రతి జంట స్కోరర్ కోసం ఒక పోలికగా మారుతుంది. స్కోరర్ ఒక జవాబు మరొకదానికంటే మెరుగ్గా ఉందని నేర్చుకుంటుంది. ఆ తర్వాత మోడల్ ఆ స్కోర్ పెంచేందుకు ప్రేరేపించబడుతుంది.

Why the stronger approach works బలహీన అర్థం ఎంచుకున్న జవాబును కాపీ చేయదగిన సరైన సమాధానంగా మార్చేస్తుంది. జంటలో ఆర్డర్ ఉంటుంది, పదజాలం కాదు.

Try a changed situation దుకాణ సమీక్ష బృందం మరాఠీ జంటలపై మార్క్ చేస్తోంది. వారి స్కోరర్ ఇప్పుడు ఎక్కువసార్లు పొడవైన జవాబును పైకి ఉంచుతుంది.

Make something yourself ఈ వారం మీరు మార్క్ చేసిన ఒక జంట తీసుకోండి. స్కోరర్ దానినుండి ఏమి నేర్చుకుంటుందో, మరియు దానినుండి నేర్చుకోలేని ఒక విషయం ఏమిటో వ్రాయండి.

Read the primary or official source: Stiennon et al., Learning to summarize from human feedback (arXiv)