रास्ता: Post-training कैसे काम करता है
Evaluation loop पूरा करती है
Held-out tasks और स्पष्ट criteria से जाँचें कि बदलाव से फायदा हुआ या नई failures बनीं।
- शुरुआती स्तर
- थोड़ी बुनियादी समझ
- समय
- 20 मिनट
- Public lesson guide
- EN + हिंदी
आप यह करना सीखेंगे
Small held-out evaluation design करें जो improvement और regression दोनों जाँचे।
यह काम क्यों ज़रूरी है
Change one metric improve करके accuracy, safety या subgroup को worse कर सकता है।
तीन बातें याद रखें
- Evaluation tasks को development examples से separate रखें।
- Intended benefit और likely regressions measure करें।
- Important languages, domains और user groups inspect करें।
एक example देखें
काम
Team model answers shorter करने के लिए change करती है।
कमज़ोर तरीका
Development में used one prompt check करें।
बेहतर तरीका
Held-out set पर before और after length, correctness, safety और important subgroups compare करें।
बेहतर तरीका क्यों काम करता है
Multidimensional held-out test intended gain और hidden regressions दोनों दिखा सकता है।
अब खुद बनाकर देखें
Five-task evaluation plan बनाएँ जिसमें one success metric, one safety check और one subgroup check हो।
शुरू करने का आसान तरीकाBefore और after comparison में क्या fixed रहेगा, यह बताएँ।
इस lesson की practice करेंऔर गहराई में पढ़ें
Source पढ़ना optional है। पूरी teaching और practice AI2Bharat के अंदर उपलब्ध है।
Primary या official source पढ़ें: OpenAI HealthBench