نشان لگاون منز ماڈل چھ پرکھ

What this lesson is about

ماڈل گرائڈر ژ چھ تہند نشان ہند سیتھ تول، تہ اوہ ژ چھ تین عادت ژیہ منز اوہس منز اعدادوشمار بے کار کرن۔

کام دینے والا چاہند چھ ہر ہفتہ دو ہزار جواب نشان لگاون، تہ اوہ ژ ماڈل دیو۔ کتھ شروع کران؟

Why this matters

ماڈل ہندولے زیادہ جواب نشان لگاون منز سگھ چھ۔ ایک شائع کیتھ مطالعہ منز ایک مضبوط ماڈل ژ لوگ سیتھ لگ بھگ اسی فیصد میل چھ۔ دو لوگ وی اوہس قدر میل کرن۔ اوہس مطالعہ منز تین عادت ژ نام چھ جنہ ژ پرکھ کرن۔ لمبے جواب جیتن، پہلا جواب جیتن، تہ ماڈل ہند لکھت پسند کرن۔

جواب ژ نشان لگاون منز ماڈل چھ تہند نشان سیتھ پرکھ، تہ اوہس منز کسے اعدادوشمار پر اعتماد کر۔

پہلے ہتھ سیتھ ایک سیٹ نشان لگاؤ، تہ گنتی کرو کتھ کتھ ماڈل تہند سیتھ میل کھان۔
تین عادت ژ پرکھ کرو: لمبے جواب جیتن، پہلا جواب جیتن، تہ ماڈل ہند لکھت پسند کرن۔
میل ژ اعدادوشمار گنتی سیتھ شائع کرو، ماڈل ژ سکور اکیلے نہ۔

Task

ایک ٹیم چاہند چھ کہ ماڈل ہر ہفتہ دو ہزار ہندی جواب نشان لگاؤ۔

Weak approach ماڈل پورے دو ہزار جواب ژ چلاؤ، پاس ریٹ رپورٹ کرن، تہ چند جواب ژ نشان سمجھدار لگن۔ ہتھ سیتھ کسے جواب ژ نشان نہ لگاؤ۔

Stronger approach پہلے اسی جواب ہتھ سیتھ نشان لگاؤ۔ ماڈل باسٹھ جواب سیتھ میل کھاؤ، تہ اٹھارہ فرق منز چوہہ لمبے جواب ژ حق منز۔ باقی جواب ژ چلاؤن منز دونوں گنتی رپورٹ کرن۔

Why the stronger approach works دونوں ماڈل استعمال کیتھ۔ صرف مضبوط جواب دسن سگھ چھ کہ اوہس اعدادوشمار ژ قیمت کتھ چھ۔

Try a changed situation ماڈل دس جوڑیاں منز سات منز پہلا جواب جیتان۔ تہند نشان برابر تقسیم۔

Make something yourself چالیس جواب ہتھ سیتھ نشان لگاؤ، تہ اوہس چالیس جواب ماڈل ژ نشان لگاؤ۔ میل رپورٹ کرو تہ فرق ژ پیچھے عادت ژ ناں لو۔

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)