نشان لڳائڻ وارو ماڊل چيڪ ڪريو

What this lesson is about

پنهنجي نشانن سان ماڊل گريڊر کي ماپيو، ۽ انهن ٽن عادتن جي جاچ ڪريو جيڪي ان جي انگ اکر کي بيڪار بڻائين ٿيون.

توهان جو خريدار هر هفتي ٻه هزار جوابن تي نشان لڳائڻ چاهي ٿو ۽ هڪ ماڊل پيش ڪري ٿو. توهان ڪٿان شروع ڪندا؟

Why this matters

ماڊل هڪ گروپ کان گهڻو وڌيڪ جوابن تي نشان لڳائي سگهي ٿو. هڪ شايع ٿيل مطالعي ۾ هڪ مضبوط ماڊل ماڻهن سان لڳ ڀڳ اٺيهه سيڪڙو ميل کائيندو ڏٺو ويو، جيڪو ٻن ماڻهن جي وچ ۾ به ٿيندو آهي. ساڳي مطالعي ۾ اهي عادتون پڻ ڄاڻايون ويون آهن جيڪي پرکڻيون آهن: ڊگهو جواب کٽي ٿو، پهريون ڏيکاريل جواب کٽي ٿو، ۽ ماڊل کي پنهنجي لکڻي پسند آهي.

جوابن تي نشان لڳائڻ وارو ماڊل پنهنجي نشانن سان پرکيو، پوءِ ئي ان جي ڪنهن انگ اکر تي ڀروسو ڪريو.

پهريان هٿ سان هڪ سيٽ تي نشان لڳايو، پوءِ ڳڻيو ته ماڊل توهان سان ڪيتري ڀيرا متفق آهي.
ٽين عادتون پرکيو: ڊگهو جواب کٽڻ، پهريون جواب کٽڻ، ۽ ماڊل کي پنهنجي لکڻي پسند هجڻ.
اتفاق جو انگ اکر ڳڻپ سان گڏ ظاهر ڪريو، ماڊل جو اسڪوئر اڪيلو ڪڏهن به نه ڏيکاريو.

Task

هڪ ٽيم چاهي ٿي ته ماڊل هر هفتي ٻه هزار هندي جوابن تي نشان لڳائي.

Weak approach ماڊل کي سڀني ٻه هزار جوابن تي هلائي ٿو، پاس ٿيڻ جي شرح رپورٽ ڪري ٿو، ۽ چوندو آهي ته ڪجهه نشان معقول لڳا. ڪنهن به جواب تي هٿ سان نشان نٿو لڳائي.

Stronger approach پهريان اٺيهه جوابن تي هٿ سان نشان لڳائي ٿو. ماڊل ستنهن جوابن تي متفق آهي، ۽ اٺارن ورهاڱن مان چوڏه ڊگهي جواب جي حق ۾ آهن. باقي هلائڻ کان اڳ ٻنهي ڳڻپين کي رپورٽ ڪري ٿو.

Why the stronger approach works ٻئي ماڊل استعمال ڪيا. صرف مضبوط جواب ٻڌائي سگهي ٿو ته ان مان نڪتل انگ اکر ڪيترو قيمتي آهي.

Try a changed situation ماڊل ڏهن مان ست جوڙو ۾ پهريون ڏيکاريل جواب مٿاهون رکندو آهي. توهان جا پنهنجا نشان برابر ورهايل آهن.

Make something yourself چاليھ جوابن تي هٿ سان نشان لڳايو، پوءِ ساڳين چاليھ تي ماڊل کان نشان لڳرائو. اتفاق رپورٽ ڪريو ۽ ورهاڱن جي پويان عادت جو نالو ڏيو.

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)