توهان جا ليبل ڪٿي وڃن ٿا

What this lesson is about

پنهنجي اسڪرين تان هڪ ريٽنگ بيچ کي ٽريننگ رن تائين فالو ڪريو، ۽ رستي تي ان جا چيڪ ڳوليو.

توهان جمعي تي ٻه سئو قطارون مڪمل ڪري موڪليندا آهيو. توهان جو ڪزن پڇي ٿو ته ڇا ماڊل سا ئي شام تبديل ٿئي ٿو.

Why this matters

هڪ شايع ٿيل اسسٽنٽ رن واضح طور تي لوپ بيان ڪري ٿو. بيچ گڏ ڪيا وڃن ٿا، هڪ حصو الڳ رکيو وڃي ٿو، ماڊل ٽرين ڪيو وڃي ٿو، ۽ نوان بيچ تبديل ٿيل ماڊل تي اچن ٿا. ٻه شيون طئي ڪن ٿيون ته رن تي بعد ۾ اعتبار ڪري سگهجي ٿو يا نه. هڪ الڳ رکيل سيٽ — شيون جن تي ماڊل ڪڏهن به ٽرين نه ٿيو — مرمت دوران پڙهڻ کان بچڻ گهرجن. ۽ هر بيچ سان لکيل هجڻ گهرجي ته ڪير ۽ ڪڏهن نشان لڳايو.

پنهنجي اسڪرين تان هڪ ريٽنگ بيچ کي ٽريننگ رن تائين فالو ڪريو، ۽ رستي تي چيڪن جا نالا ڏيو.

توهان جو بيچ ٻين سان گڏ ڪيو وڃي ٿو ۽ پوءِ ورهايو وڃي ٿو: گهڻو رن ڏانهن وڃي ٿو، ڪجهه الڳ رکيو وڃي ٿو.
الڳ رکيل حصو تڏهن خرچ ٿئي ٿو جڏهن ڪو ان جون غلطيون پڙهي مرمت ڪري.
لکو ته ڪير ۽ ڪڏهن نشان لڳايو، ڇو ته بغير نالي وارو بيچ بعد ۾ چيڪ نٿو ٿي سگهي.

Task

هڪ ٽيم پڇي ٿي ته گذريل مهيني جا ٻارهه سئو نشان لڳل جوڙا نئين ماڊل جي ٽيسٽ کان اڳ ڪٿي ويا.

Weak approach چوي ٿو ته سڀ ٽريننگ رن ۾ ويا، ۽ نئون ماڊل بهتر جواب ڏئي ٿو، تنهنڪري نشان لڳائڻ ڪم آيو. ڪو بيچ، گڻت يا تاريخ نٿو ٻڌائي.

Stronger approach انهن جو پتو لڳائي ٿو: هزار رن ۾، ٻه سئو الڳ رکيل. انهن ٻه سؤ مان ٻه مرمت دوران پڙهيا ويا، تنهنڪري رپورٽ ۾ هڪ سئو اٺانوين لکيو ويو.

Why the stronger approach works ڪمزور پتو ماڊل بهتر ٿيڻ تي رڪجي ٿو. مضبوط پتو ٻڌائي ٿو ڇا الڳ رکيو ويو ۽ ڇا خرچ ٿيو.

Try a changed situation هڪ ساٿي تنظيم توهان جي الڳ رکيل حصي مان هڪ انگ گهرندي آهي. ان جا ڇهه شيون هدايت نامي جي مرمت دوران پڙهيا ويا.

Make something yourself پنهنجي ڪنهن هڪ بيچ جو رستو ٺاهيو: ڪير نشان لڳايو، ڇا تي ٽريننگ ٿي، ڇا الڳ رکيو ويو، ڇا خرچ ٿيو.

Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)