جائزہ لوپ کو مکمل کرتا ہے

What this lesson is about

ایسے کام استعمال کریں جن پر ماڈل نے کبھی تربیت نہیں لی، اور واضح معیار۔ چیک کریں کہ تبدیلی مددگار ثابت ہوئی یا نئی غلطیاں پیدا ہوئیں۔

آپ کی ٹیم کو تبدیلی کی جانچ کے لیے بیس سوالات چاہیے، اور پچھلے مہینے کی تربیتی فائل اسکرین پر کھلی ہے۔ آپ کیا کریں گے؟

Why this matters

ایک تبدیلی ایک اسکور کو بہتر کر سکتی ہے لیکن درستگی، حفاظت یا کسی خاص صارف گروپ کے لیے نقصان دہ ہو سکتی ہے۔ اس لیے آپ ہیلڈ آؤٹ سیٹ پر ٹیسٹ کرتے ہیں — ایسے کام جن پر ماڈل کبھی بنایا نہیں گیا۔ اور آپ ریگریشن تلاش کرتے ہیں — یعنی جو پہلے کام کرتا تھا اب ناکام ہو رہا ہے۔

ایک چھوٹا چیک پلان بنائیں جو ہیلڈ آؤٹ سیٹ پر بہتری اور ریگریشن دونوں کو پکڑے۔

ٹیسٹ کے سوالات کو بنانے اور سکھانے میں استعمال کیے گئے مثالوں سے الگ رکھیں۔
چاہا گیا فائدہ اور ممکنہ خرابیاں دونوں ناپیں۔
اہم زبانیں، موضوعات اور صارفین کے گروپ چیک کریں۔

Task

ایک ٹیم مہینے کا بل کم کرنے کے لیے سستا ماڈل لگا دیتی ہے۔ اور کچھ نہیں بدلتا۔

Weak approach وہی پچاس سوال چلاتا ہے جو ٹیم نے بناتے وقت استعمال کیے تھے، اور سستا ماڈل پچاسوں کا جواب دے دیتا ہے۔ لکھ دیتا ہے کہ کچھ نہیں بگڑا۔ پر سیٹنگ انہی پچاس پر کی گئی تھی، اور مراتی میں کیا بگڑا، یہ کسی نے پوچھا ہی نہیں۔

Stronger approach پہلے اور بعد میں، الگ رکھے ہوئے ان سوالوں پر چلاتا ہے جن پر ماڈل کبھی بنا ہی نہیں تھا۔ بل ایک تہائی کم ہو جاتا ہے۔ ہندی میں درستگی برقرار رہتی ہے اور مراتی میں کم ہو جاتی ہے، اس لیے رپورٹ میں دونوں اعداد شامل ہوتے ہیں۔

Why the stronger approach works دونوں رپورٹس واقعی جانچ کر لکھی گئی تھیں۔ مگر جانچ صرف ایک نے ان سوالوں پر کی جو اس تبدیلی کے لیے پہلے سے فٹ نہیں کیے گئے تھے۔

Try a changed situation ایک ٹیوشن سینٹر نے اپنے یاددہانی پیغامات مختصر کر دیے اور والدین جلدی جواب دینے لگے۔ آپ اور کیا دیکھیں گے؟

Make something yourself پانچ کاموں کا چیک پلان بنائیں۔ ایک کامیابی کا معیار، ایک حفاظتی چیک، اور ایک صارف گروپ کا چیک دیں۔

Read the primary or official source: OpenAI HealthBench