બદલાવ કરતા પહેલા માપો

What this lesson is about

તમારા પોતાના પચાસ ઉદાહરણો પર તે કેવી રીતે કરે છે તે લખો. આ સંખ્યા જ તમારા બદલાવનું મૂલ્યાંકન કરવા માટે એકમાત્ર આધાર છે.

તમે એક નાનું મોડેલને આપતા સૂચનને ફરીથી લખવા જઈ રહ્યા છો જેથી તેની હિન્દી જવાબો સુધરે. પહેલા શું કરશો?

Why this matters

Hugging Face ની માર્ગદર્શિકા ચેતાવે છે કે જે ઉદાહરણો પરથી મોડલ બનાવાયું છે તે જ ઉદાહરણો પર પરીક્ષણ કરવું યોગ્ય નથી. સ્કોર સરસ લાગે છે પણ તેનો કોઈ અર્થ નથી. તારીખ અને સંસ્કરણ વિના સંખ્યા કોઈ સાથે તુલના કરી શકાતી નથી.

તમે તમારા પોતાના ઉદાહરણો પર મોડલનું માપ કરી શકો છો અને તે રનને નોંધાવી શકો છો જેથી પછીનું માપ તુલના કરી શકાય.

કંઈક બદલવા પહેલા તે તમારા પોતાના પચાસ ઉદાહરણો પર કેવી રીતે કરે છે તે લખો.
તમે જે કઠિન કેસો માટે તે નિષ્ફળ રહેશે તે પણ શામેલ કરો, નહીં તો સ્કોર તેને વધારતો દેખાશે.
સ્કોર સાથે તારીખ, મોડલ સંસ્કરણ અને ઇનપુટ્સ પણ નોંધાવો.

Task

તમે નાનકડા મોડલને આપેલ સૂચન બદલવા જઇ રહ્યા છો જેથી તેના હિન્દી જવાબો સુધરી જાય.

Weak approach સૂચનામાં ફેરફાર કરવો, પાંચ જવાબો વાંચવા, અને માનવું કે હવે હિન્દી વધુ સારી છે. કોઈએ જૂના સૂચનાનો સ્કોર લખ્યો નહોતો, એટલે 'વધારે સારું' સામે મુકવા માટે કંઈ નથી.

Stronger approach તમારા પોતાના પચાસ સંદેશાઓનું પહેલા મૂલ્યાંકન કરવું, તારીખ અને સંસ્કરણ લખવું, અને પછી જ કંઈક બદલવું.

Why the stronger approach works પ્રથમ સ્કોર વગર 'સારો' માત્ર લાગણી છે. તે સાથે બદલાવ એવી સંખ્યા બની જાય છે જે કોઈને બતાવી શકાય.

Try a changed situation એક મિત્ર સાબિત કરવા માંગે છે કે તેની નવી ટ્યુશન પદ્ધતિ કામ કરે છે. તે તે જ દસ પ્રશ્નો પર પરીક્ષણ કરવા માંગે છે જેમને તે શીખવ્યું હતું. તમે તેને શું કહેશો?

Make something yourself એક મોડલની પ્રથમ માપ બનાવો. તમારા પચાસ ઇનપુટ્સ, દરેક માટે અપેક્ષિત જવાબ અને મોડલે શું આપ્યું તે લખો. સાથે તમારું સ્કોર, તારીખ અને સંસ્કરણ ઉમેરો.

Read the primary or official source: Hugging Face Evaluate · considerations for model evaluation