మూల్యాంకనం లూప్‌ను ముగిస్తుంది

What this lesson is about

మోడల్ ఎప్పుడూ శిక్షణ పొందని హోల్డ్-అవుట్ పనులను మరియు స్పష్టమైన ప్రమాణాలను ఉపయోగించండి. మార్పు సహాయపడిందో లేదో, కొత్త విఫలతలు వచ్చాయో లేదో తనిఖీ చేయండి.

మీ టీమ్‌కు మార్పును పరీక్షించడానికి ఇరవై ప్రశ్నలు కావాలి, మరియు గత నెల ట్రైనింగ్ ఫైల్ తెరపై తెరిచి ఉంది. మీరు ఏమి చేస్తారు?

Why this matters

ఒక మార్పు ఒక స్కోరు పెంచినప్పటికీ ఖచ్చితత్వం, భద్రత లేదా ఒక వినియోగదారుల సమూహం పట్ల దుష్ప్రభావం చూపవచ్చు. అందుకే మోడల్ ఎప్పుడూ శిక్షణ పొందని హోల్డ్-అవుట్ సెట్‌పై పరీక్షిస్తారు. అలాగే పునరావృతం కోసం చూస్తారు — ముందుగా పనిచేసినది ఇప్పుడు విఫలమవుతుందా అని.

మెరుగుదల మరియు పునరావృతం కోసం హోల్డ్-అవుట్ సెట్‌పై చిన్న తనిఖీ రూపొందించండి.

పరీక్షా పనులను వాటిని తయారు చేయడానికి ఉపయోగించిన ఉదాహరణల నుండి వేరు ఉంచండి.
మీరు కోరిన లాభం మరియు ఏమి చెడిపోయిందో కొలవండి.
ముఖ్యమైన భాషలు, విషయాలు మరియు వినియోగదారుల గుంపులను తనిఖీ చేయండి.

Task

ఒక జట్టు నెలవారీ బిల్లు తగ్గించడానికి తక్కువ ఖర్చుతో కూడిన మోడల్‌ను మార్చుకుంటుంది. ఇంకేమీ మారదు.

Weak approach జట్టు తయారు చేసినప్పుడు ఉపయోగించిన 50 ప్రశ్నలను నడిపిస్తారు, తక్కువ ఖర్చుతో కూడిన మోడల్ ఆ 50 ప్రశ్నలకు సమాధానం ఇస్తుంది. ఏమీ పాడైలేదు అని నివేదిక ఇస్తుంది. ఆ 50 ప్రశ్నలపై సెట్టింగ్స్ సర్దుబాటు చేయబడ్డాయి, మరాఠీలో ఏమి చెడిపోయిందో ఎవ్వరూ అడగలేదు.

Stronger approach మోడల్ ఎప్పుడూ తయారు చేయబడని ఒక వేరే సెట్‌పై ముందుగా మరియు తరువాత నడిపిస్తారు. బిల్లు ఒక మూడవ భాగం తగ్గుతుంది. హిందీలో సరైనత నిలుస్తుంది, మరాఠీలో తగ్గుతుంది, అందువల్ల నివేదికలో రెండు సంఖ్యలు ఉంటాయి.

Why the stronger approach works రెండు నివేదికలు నిజమైన పరీక్షల తర్వాత రాయబడ్డాయి. ఒక్కదే మార్పు ఇప్పటికే సర్దుబాటు చేయని ప్రశ్నలపై పరీక్షించింది.

Try a changed situation ఒక ట్యూషన్ సెంటర్ తన రిమైండర్ సందేశాలను చిన్నదిగా చేసింది, మరియు తల్లిదండ్రులు త్వరగా స్పందిస్తున్నారు. మరేమి చూడాలి?

Make something yourself ఐదు పనుల తనిఖీ ప్రణాళికను రూపొందించండి. ఒక విజయ ప్రమాణం, ఒక భద్రతా తనిఖీ, మరియు ఒక వినియోగదారుల సమూహంపై తనిఖీ ఇవ్వండి.

Read the primary or official source: OpenAI HealthBench