بدلنے سے پہلے اس کی پیمائش کریں

What this lesson is about

اپنے پچاس اپنے ہی نمونوں پر اس کی کارکردگی لکھیں۔ یہی نمبر آپ کی تبدیلی کا معیار ہوگا۔

آپ ایک چھوٹے ماڈل کو دی جانے والی ہدایت کو دوبارہ لکھنے والے ہیں تاکہ اس کے ہندی جوابات بہتر ہوں۔ سب سے پہلے کیا کریں؟

Why this matters

Hugging Face کی ہدایت کہتی ہے کہ جس نمونوں سے چیز بنی ہے، انہی پر ٹیسٹ کرنا درست نہیں۔ اسکور اچھا لگتا ہے مگر اس کا کوئی مطلب نہیں۔ بغیر تاریخ اور ورژن کے نمبر کا کوئی موازنہ نہیں ہوتا۔

آپ ماڈل کو اپنے ہی نمونوں پر ناپ سکتے ہیں اور اس رن کو ریکارڈ کر سکتے ہیں تاکہ بعد میں موازنہ کیا جا سکے۔

کچھ بدلنے سے پہلے لکھ لیں کہ وہ آپ کے اپنے پچاس نمونوں پر کیسا کرتا ہے۔
وہ مشکل کیسز بھی شامل کریں جن میں آپ کو لگتا ہے کہ وہ ناکام ہوگا، ورنہ اسکور اس کی تعریف کرے گا۔
اسکور کے ساتھ تاریخ، ماڈل ورژن اور ان پٹ بھی ریکارڈ کریں۔

Task

آپ چھوٹے ماڈل کو دی جانے والی ہدایت کو بدلنے والے ہیں تاکہ اس کے ہندی جوابات بہتر ہوں۔

Weak approach ہدایات بدل دینا، پانچ جوابات پڑھ لینا، اور یہ فیصلہ کرنا کہ اب ہندی بہتر ہے۔ کسی نے پرانی ہدایت کا اسکور لکھا ہی نہیں تھا، اس لیے بہتر کے مقابلے میں کچھ نہیں ہے۔

Stronger approach پہلے اپنے پچاس پیغامات کا اسکور کرنا، تاریخ اور ورژن لکھنا، اور پھر ایک چیز بدلنا۔

Why the stronger approach works پہلے اسکور کے بغیر بہتر ہونا صرف ایک احساس ہے۔ اس کے ساتھ تبدیلی ایک ایسا نمبر بن جاتی ہے جو کسی کو دکھایا جا سکتا ہے۔

Try a changed situation ایک دوست ثابت کرنا چاہتی ہے کہ اس کا نیا پڑھانے کا طریقہ کام کرتا ہے۔ وہ انہی دس سوالات پر ٹیسٹ کرنا چاہتی ہے جن سے پڑھایا تھا۔ آپ اسے کیا کہیں گے؟

Make something yourself ایک ماڈل کی پہلی پیمائش کریں۔ اپنے پچاس ان پٹس، ہر ایک کا متوقع جواب، اور ماڈل نے کیا دیا لکھیں۔ اپنا اسکور، تاریخ اور ورژن بھی شامل کریں۔

Read the primary or official source: Hugging Face Evaluate · considerations for model evaluation