એવી મૂલ્યાંકન ડિઝાઇન કરો જે નિષ્ફળ થઈ શકે

What this lesson is about

સહેલું, મુશ્કેલ અને ખરેખર અસ્પષ્ટ આઇટમ્સ સાથે નાનું ચેક સેટ બનાવો. પછી પાસ થવાનું સ્કોર કંઈક અર્થ ધરાવે છે.

હિંદી બસ-ટાઈમટેબલ સહાયક માટે તમારા દસ ટેસ્ટ પ્રશ્નો બધા એવા છે કે જે તે પહેલેથી જ સાચા જવાબ આપે છે. તેમને ચલાવતાં પહેલા તમે શું બદલશો?

Why this matters

સિસ્ટમ બનાવ્યા પછી પસંદ કરાયેલ ચેક સેટ સામાન્ય રીતે પહેલાથી લેવામાં આવેલા નિર્ણયોનું માપન કરે છે.

એવું નાનું ચેક સેટ બનાવો જેનું સ્કોર ઘટી શકે, અને પહેલા જ લખો કે દરેક આઇટમ શું ચકાસે છે.

એવા આઇટમ્સ સામેલ કરો જેમાં સિસ્ટમ આજે નિષ્ફળ થવી જોઈએ.
ચેક ચલાવતાં પહેલા અપેક્ષિત જવાબ લખો.
દરેક આઇટમ પર સહેલું, મુશ્કેલ અથવા ખરેખર અસ્પષ્ટ લેબલ લગાવો.

Task

હિન્દી બસ ટાઈમટેબલ હેલ્પલાઇન સહાયક માટે દસ આઇટમ્સનું સેટ.

Weak approach હેલ્પલાઇનના પોતાના કોલ લોગમાંથી દસ વાસ્તવિક પ્રશ્નો એકત્ર કરે છે. કંઈ ચલાવવાનું શરૂ કરતા પહેલા દરેક માટે અપેક્ષિત જવાબ લખે છે. બધા દસ સાચા આવે છે. બધા દસ એવા પ્રશ્નો છે જેમના જવાબ સહાયક પહેલેથી જ આપે છે, તેથી આ સેટ પાસે ગુમાવવાનું કોઈ સ્કોર નથી.

Stronger approach ચાર રોજિંદા પ્રશ્નો, ચાર જાણીતી નિષ્ફળતાઓ જેમ કે રાત્રિ બસ અને નામ બદલાયેલ સ્ટોપ, અને બે એવા પ્રશ્નો કે જેમાં સ્ટાફ પોતે જ મતભેદ કરે છે. દરેક માટે અપેક્ષિત જવાબ પહેલા લખેલો છે.

Why the stronger approach works મજબૂત સેટ નુકસાન બતાવી શકે છે. તે જ તેને ચલાવવાનો એકમાત્ર કારણ છે.

Try a changed situation હવે તમે સામાન્ય સેવા કેન્દ્રમાં ફોર્મ ભરવામાં મદદરૂપ સહાયકની ચકાસણી કરી રહ્યા છો. કયો નિયમ હજી લાગુ પડે છે?

Make something yourself તમારા સારી રીતે જાણતા કાર્ય માટે છ ચેક આઇટમ્સ ડિઝાઇન કરો. બે સહેલા, બે મુશ્કેલ અને બે ખરેખર અસ્પષ્ટ પસંદ કરો. પરીક્ષણ પહેલાં દરેક માટે અપેક્ષિત જવાબ લખો.

Read the primary or official source: Holistic Evaluation of Language Models