ایسی جانچ بنائیں جو ناکام ہو سکے

What this lesson is about

ایک چھوٹا چیک سیٹ بنائیں جس میں آسان، مشکل اور واقعی غیر واضح اشیاء ہوں۔ پھر پاس ہونے کا اسکور معنی رکھتا ہے۔

آپ کے ہندی بس ٹائم ٹیبل مددگار کے لیے دس ٹیسٹ سوالات وہی ہیں جن کے جواب وہ پہلے سے صحیح دیتا ہے۔ انہیں چلانے سے پہلے آپ کیا بدلیں گے؟

Why this matters

سسٹم بن جانے کے بعد منتخب کیا گیا چیک سیٹ عموماً پہلے سے کیے گئے فیصلے ہی ناپتا ہے۔

ایک چھوٹا چیک سیٹ بنائیں جس کا اسکور گر سکتا ہو، اور پہلے ہی بتائیں کہ ہر سوال کیا جانچتا ہے۔

سسٹم بن جانے کے بعد منتخب کیا گیا چیک سیٹ عموماً پہلے سے کیے گئے فیصلے ہی ناپتا ہے۔

ایسے سوال شامل کریں جن میں سسٹم آج ناکام ہونا چاہیے۔
چیک چلانے سے پہلے متوقع جواب لکھیں۔
ہر سوال پر آسان، مشکل، یا واقعی غیر واضح کا لیبل لگائیں۔

Task

ہندی بس ٹائم ٹیبل ہیلپ لائن اسسٹنٹ کے لیے دس سوالوں کا سیٹ۔

Weak approach ہیلپ لائن کے اپنے کال لاگ سے دس اصلی سوالات جمع کرتا ہے۔ کچھ چلانے سے پہلے ہر ایک کا متوقع جواب لکھ دیتا ہے۔ تمام دس بالکل درست آتے ہیں۔ یہ تمام سوالات ایسے ہیں جن کے جواب اسسٹنٹ پہلے ہی دیتا ہے، اس لیے اس سیٹ کا کوئی اسکور کم ہونے کا امکان نہیں ہے۔

Stronger approach چار روزمرہ کے سوال، چار معلوم ناکامیاں جیسے رات کی بس اور نام بدلا ہوا اسٹاپ، اور دو ایسے جن پر عملہ خود بحث کرتا ہے۔ ہر ایک کا متوقع جواب پہلے لکھا ہوا۔

Why the stronger approach works مضبوط سیٹ نقصان بھی دکھا سکتا ہے۔ یہی اسے چلانے کی واحد وجہ ہے۔

Try a changed situation اب آپ عام سروس سینٹر میں فارم بھرنے والے اسسٹنٹ کی جانچ کر رہے ہیں۔ کون سا اصول اب بھی لاگو ہوتا ہے؟

Make something yourself اپنے کسی جانے پہچانے کام کے لیے چھ چیک سوال بنائیں۔ دو آسان، دو مشکل، اور دو واقعی غیر واضح منتخب کریں، اور ٹیسٹ شروع کرنے سے پہلے ہر سوال کا متوقع جواب لکھیں۔

Read the primary or official source: Holistic Evaluation of Language Models