انعام ماڊل ڇا آهي

What this lesson is about

ڏسو ته نشان لڳايل جوڙين مان ڇا ٺهي ٿو: هڪ اسڪورر، جيڪو صحيح جواب جي بدران توهان جي ترتيب تي سکيو آهي.

توهان جو اٺ سئو نشان لڳايل جوڙين جو بيچ سومر تي ليبارٽري ڏانهن وڃي رهيو آهي. هڪ ساٿي پڇي ٿو ته ليبارٽري ان مان ڇا ٺاهي ٿي.

Why this matters

هڪ شايع ٿيل خلاصو هلائڻ ۾ اهو ئي ڍانچو ڏٺو ويو آهي. نشان لڳايل جوڙيون اسڪورر کي سکائين ٿيون، ۽ پوءِ ماڊل کي انهي اسڪورر جي مقابلي ۾ بهتر ڪيو ويندو آهي. تنهنڪري توهان جو جوڙو ڪو اهڙو جواب ناهي جيڪو ماڊل نقل ڪندو. اهو اسڪورر جي پنهنجي سکيا جو هڪ لائن آهي، ۽ ماڊل بعد ۾ انهي اسڪورر کي خوش ڪرڻ لاءِ ڌڪيو ويندو آهي.

چئو ته انعام ماڊل ڇا آهي، اهو ڪهڙي شيءِ تي سکيو ويندو آهي، ۽ هڪ نشان لڳايل جوڙو ڇا بڻجي ٿو.

انعام ماڊل هڪ اسڪورر آهي جيڪو توهان جي جوڙين تي سکيو آهي، صحيح جواب تي نه.
هڪ جوڙو صرف ترتيب سکائي ٿو: هن سوال لاءِ هي جواب ٻئي کان مٿي آهي.
ماڊل بعد ۾ انهي اسڪور کي وڌائڻ لاءِ ڌڪيو ويندو آهي، تنهنڪري ڪمزور اسڪورر ڪمزور عادتون سکائيندو آهي.

Task

صحت بابت جوابن جون اٺ سئو نشان لڳايل جوڙيون ٽريننگ لاءِ موڪليون وڃن ٿيون. چئو ته هڪ جوڙو ڇا بڻجي ٿو.

Weak approach چوي ٿو ته هر چونڊيل جواب ماڊل لاءِ هڪ سکيا وارو مثال بڻجي ٿو. اٺ سئو کي اٺ سئو مثالي جواب سمجهي ٿو جيڪي ماڊل نقل ڪندو.

Stronger approach چوي ٿو ته هر جوڙو اسڪورر لاءِ هڪ مقابلو بڻجي ٿو. اسڪورر سکندو آهي ته هڪ جواب ٻئي کان مٿي آهي. پوءِ ماڊل کي انهي اسڪور کي وڌائڻ لاءِ ڌڪيو ويندو آهي.

Why the stronger approach works ڪمزور سمجهه چونڊيل جواب کي نقل ڪرڻ جهڙو مثالي جواب بڻائي ٿي. جوڙي ۾ ترتيب هوندي آهي، لفظن ۾ نه.

Try a changed situation دڪان جي جائزي واري ٽيم مراٺي جوڙين تي نشان لڳائي ٿي. ان جو اسڪورر هاڻي تقريباً هر دفعي ڊگهو جواب مٿي رکي ٿو.

Make something yourself هن هفتي توهان جيڪو هڪ جوڙو نشان لڳايو آهي وٺو. لکو ته اسڪورر ان مان ڇا سکندو آهي، ۽ هڪ ڳالهه جيڪا اهو نٿو سکجي سگهي.

Read the primary or official source: Stiennon et al., Learning to summarize from human feedback (arXiv)