جواب لکڻ کان پوءِ ٽي ڪوششون نشان لڳايو

What this lesson is about

اهو حوالو جواب لکو جنهن جي بنياد تي توهان جو اسڪورنگ گائيڊ لاڳو ٿئي ٿو، پوءِ ان جي بنياد تي ٽي ڪوششون نشان لڳايو.

توهان جو پروجيڪٽ جمعي تائين چاليهه جوابن کي اسڪور ڪرڻ چاهي ٿو، ۽ مقابلي ۾ رکندڙ ڪجھ به ناهي موڪليو. پهريان ڇا ڪندا؟

Why this matters

بغير لکيل جواب جي نشان لڳائڻ گمراهه ڪري ٿو: ٽيون جواب ٻئي جواب جي مقابلي ۾ پرکيو وڃي ٿو، ڪم جي مقابلي ۾ نه. ماڊل گريڊرز تي شايع ٿيل ڪم به گريڊر کي اهڙو حوالو جواب ڏئي ٿو. توهان جو جواب ئي اهو سونهري معيار آهي جنهن کي لسٽنگ ۾ شامل ڪرڻ لاءِ چيو وڃي ٿو.

پهريان حوالو جواب لکو، پوءِ ان جي مقابلي ۾ ٽي ڪوششون نشان لڳايو.

پهريان جواب لکو؛ بغير جواب جي نشان لڳائڻ ٽئين ڪيس تائين گمراهه ٿي وڃي ٿو.
جواب جي آواز جي بدران جواب جي مقابلي ۾ نشان لڳايو.
هر نشان جو فيصلو ڪندڙ هڪ لائن لکو، جيئن ٻيو نشان لڳائيندڙ اختلاف ڪري سگهي.

Task

واپسي ٿيل ڪارٽن جي ڪم لاءِ ٽي جواب اچن ٿا، ۽ سڀئي ڪريڊٽ رد ڪن ٿا.

Weak approach ٽينهي پڙهي سڀ کان ڊگهو جواب مٿان رکي ٿو، ڇو ته اهو پاليسي کي تفصيل سان سمجهاڻي ٿو. اهو ڪنهن مينيجر وانگر لڳي ٿو. چار لائينن واري جواب کي سخت ۽ گهٽ نشان ڏئي ٿو.

Stronger approach هر جواب کي حوالو جواب جي مقابلي ۾ رکي ٿو. ڊگهو جواب غلط سبب لاءِ رد ڪري ٿو، تنهنڪري پهرين لائن جو نشان وڃائي ٿو. چار لائينن وارو جواب ساٺ ڏينهن جي ونڊو ۽ ٻيهر اسٽاڪ ڪرڻ جو چارج بيان ڪري ٿو، ۽ سڀ کان مٿانهون نشان وٺي ٿو.

Why the stronger approach works ڪمزور نشان لڳائيندڙ جوابن کي هڪٻئي جي مقابلي ۾ توليو. مضبوط جواب هر هڪ کي حوالو جواب سان ملائي، جنهن ڪري ٻيو نشان لڳائيندڙ ڪم کي جانچي سگهي ٿو.

Try a changed situation هڪ ميڊيا ڊيسڪ توهان کان هڪ ئي پريس نوٽ جا ٻه خبرن جا خلاصا اسڪور ڪرڻ لاءِ چوندي آهي. هڪ چمڪدار، ٻيو سادو.

Make something yourself پهريون سبق وارو پنهنجو ڪم وٺو. ان جو حوالو جواب لکو، پوءِ ان جي مقابلي ۾ ٽي جواب نشان لڳايو. هر نشان جي هيٺان اهو هڪ لائن لکو جنهن نشان جو فيصلو ڪيو.

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)