بات چیت کا جائزہ لیں، صرف ایک جواب نہیں

What this lesson is about

کسی جواب کا اندازہ اس بات کے مطابق لگائیں جو بات چیت میں پہلے ہی طے پا چکی ہو۔ صارف کی حدود، ان کی اصلاحات، اور وہ زبان جو انہوں نے منتخب کی۔

پہلے مرحلے میں ایک صارف نے ہندی مانگی تھی۔ چوتھا مرحلہ روان انگریزی میں ہے اور حقائق درست ہیں۔ آپ چوتھے مرحلے کو کیسے اسکور کریں گے؟

Why this matters

صرف ایک جواب کا جائزہ لینے والی جانچ ایسی بات چیت کو پاس کر دیتی ہے جو تین موڑ پہلے صارف کی مانگی ہوئی بات کو خاموشی سے چھوڑ دیتی ہے۔

ہر جواب کا اندازہ ان حدود، اصلاحات اور حقائق کے مطابق لگائیں جو بات چیت میں پہلے ہی طے ہو چکے ہیں۔

ایک بار دی گئی ہدایت تب تک قائم رہتی ہے جب تک صارف خود اسے تبدیل نہ کرے۔
ہر جواب کو اس کے اپنے تناظر میں نہیں بلکہ پہلے کے موڑوں کے ساتھ مل کر چیک کریں۔
وہ موڑ نشان زد کریں جہاں بات چیت پہلی بار ٹوٹی، آخری موڑ نہیں۔

Task

ایک چار موڑ کی بات چیت جو اسکالرشپ فارم کے بارے میں ہے۔ پہلے موڑ میں صارف نے ہندی مانگی۔ تیسرے موڑ میں اس نے آخری تاریخ درست کی، اور اسسٹنٹ نے اسے قبول کر لیا۔

Weak approach چوتھا موڑ کھولتا ہے، اس کے حقائق نوٹس سے چیک کرتا ہے، انہیں درست پاتا ہے، اور اسے پاس کر دیتا ہے۔ پہلا موڑ تین اسکرین اوپر ہے اور کبھی واپس اس پر اسکرول نہیں کیا جاتا۔

Stronger approach موڑ ایک سے چار تک ترتیب سے پڑھتا ہے اور لکھتا ہے کہ ہر موڑ نے آگے کیا لے جانا تھا۔ چوتھا موڑ درست کی گئی تاریخ دہرایا، جو صحیح ہے، اور انگریزی میں جواب دیتا ہے، جسے پہلا موڑ منع کر چکا تھا۔ چوتھے موڑ کو وقفہ کے طور پر نشان زد کرتا ہے اور پہلے موڑ کی وہ لائن حوالہ دیتا ہے۔

Why the stronger approach works چوتھے موڑ کے حقائق دونوں جائزوں میں درست تھے۔ جو ہدایت وہ چھوڑ گیا تھا وہ تین اسکرین اوپر تھی، اور صرف وہی جائزہ لینے والا جو پہلے موڑ سے پڑھا تھا اسے دیکھ سکا۔

Try a changed situation اب آپ بات چیت نہیں بلکہ AI معاون کے ٹول کے مراحل کا جائزہ لے رہے ہیں۔ کون سا اصول پھر بھی لاگو ہوتا ہے؟

Make something yourself AI معاون کے ساتھ اپنی چار موڑ کی کوئی بات چیت لیں۔ ہر موڑ کے لیے وہ ایک بات لکھیں جو اسے پہلے موڑ سے آگے لے جانی تھی، اور بتائیں کہ آیا وہ لے گیا یا نہیں۔

Read the primary or official source: Anthropic HH-RLHF