Skip to lesson

مشین سے ترجمہ کیا گیا۔ انگریزی اور ہندی جائزہ شدہ ورژنز ہیں۔Englishहिन्दी

  1. Learn
  2. See
  3. Try
  4. Make

نشان لگانے والے ماڈل کی جانچ کریں

What this lesson is about

اپنے نشانوں کے مقابلے میں ماڈل گریڈر کی پیمائش کریں، اور ان تین عادات کی جانچ کریں جو اس کے اعداد و شمار کو بے کار بنا دیتی ہیں۔

آپ کا خریدار ہر ہفتے دو ہزار جوابات پر نشان چاہتا ہے اور ماڈل پیش کرتا ہے۔ آپ کہاں سے شروع کریں گے؟

Why this matters

ماڈل ایک گروہ سے کہیں زیادہ جوابات پر نشان لگا سکتا ہے۔ ایک شائع شدہ مطالعہ میں ایک مضبوط ماڈل کا لوگوں سے تقریباً اسی فیصد اتفاق ناپا گیا، جتنا دو لوگوں کا ہوتا ہے۔ اسی مطالعے میں وہ عادات بھی بتائی گئی ہیں جنہیں جانچنا ضروری ہے: لمبا جواب جیت جاتا ہے، پہلے دکھایا گیا جواب جیت جاتا ہے، اور ماڈل کو اپنی تحریر پسند آتی ہے۔

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)