విఫలమయ్యే అవకాశం ఉన్న మూల్యాంకనాన్ని రూపకల్పన చేయండి

What this lesson is about

సులభం, కఠినం మరియు నిజంగా అస్పష్టమైన అంశాలతో ఒక చిన్న తనిఖీ సెట్ తయారు చేయండి. ఆపై ఉత్తీర్ణత స్కోరు ఒక అర్థం కలిగి ఉంటుంది.

మీ హిందీ బస్ టైమ్‌టేబుల్ సహాయకుడికి మీరు ఇచ్చిన పది పరీక్షా ప్రశ్నలు అన్నీ అది ఇప్పటికే సరిగా సమాధానం చెప్పే ప్రశ్నలు. వాటిని నడిపించే ముందు మీరు ఏమి మార్చాలి?

Why this matters

సిస్టమ్ తయారైన తర్వాత ఎంచుకున్న తనిఖీ సెట్ సాధారణంగా ఇప్పటికే తీసుకున్న నిర్ణయాలను కొలుస్తుంది.

స్కోరు పడిపోవచ్చు అనే చిన్న తనిఖీ సెట్ రూపొందించండి, మరియు ప్రతి అంశం ఏమి పరీక్షిస్తుందో ముందుగానే చెప్పండి.

సిస్టమ్ ఈ రోజు తప్పు చేయాల్సిన అంశాలను చేర్చండి.
తనిఖీ నడిపేముందు అంచనా జవాబు రాయండి.
ప్రతి అంశానికి సులభం, కఠినం లేదా నిజంగా అస్పష్టంగా లేబుల్ చేయండి.

Task

హిందీ బస్ టైమ్‌టేబుల్ హెల్ప్‌లైన్ అసిస్టెంట్ కోసం పది అంశాల సెట్.

Weak approach హెల్ప్‌లైన్ యొక్క స్వంత కాల్ లాగ్ నుండి పది నిజమైన ప్రశ్నలను సేకరిస్తుంది. ఏదైనా అమలు చేయకముందు ప్రతి ప్రశ్నకు ఆశించిన సమాధానాన్ని రాస్తుంది. పది ప్రశ్నలన్నీ సరైనవిగా వస్తాయి. ఈ పది ప్రశ్నలు అన్నీ సహాయకుడు ఇప్పటికే సమాధానం ఇచ్చే ప్రశ్నలు కావడంతో, ఈ సెట్‌కు కోల్పోవడానికి ఎలాంటి స్కోరు ఉండదు.

Stronger approach నాలుగు రోజువారీ ప్రశ్నలు. నాలుగు తెలిసిన తప్పులు, ఉదాహరణకు రాత్రి బస్ మరియు పేరు మార్చిన స్టాప్. రెండు ప్రశ్నలపై సిబ్బంది స్వయంగా వాదిస్తున్నారు. ప్రతి ఒక్కదానికి అంచనా జవాబు ముందుగానే రాయబడింది.

Why the stronger approach works బలమైన సెట్ నష్టాన్ని కూడా చూపవచ్చు. దాన్ని నడపడానికి ఏకైక కారణం అదే.

Try a changed situation ఇప్పుడు మీరు ఒక సాధారణ సేవా కేంద్రంలో ఫారం పూరించే సహాయకుడిని పరీక్షిస్తున్నారు. ఏ నియమం ఇంకా వర్తిస్తుంది?

Make something yourself మీకు బాగా తెలిసిన పనికి ఆరు తనిఖీ అంశాలు రూపకల్పన చేయండి. రెండు సులభం, రెండు కఠినం మరియు రెండు నిజంగా అస్పష్టంగా గుర్తించండి. పరీక్ష మొదలుపెట్టేముందు ప్రతి ప్రశ్నకు అంచనా జవాబు రాయండి.

Read the primary or official source: Holistic Evaluation of Language Models