ಅಸफलವಾಗಬಹುದಾದ ಮೌಲ್ಯಮಾಪನವನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿ

What this lesson is about

ಸರಳ, ಕಠಿಣ ಮತ್ತು ನಿಜವಾಗಿಯೂ ಅಸ್ಪಷ್ಟವಾದ ಐಟಂಗಳೊಂದಿಗೆ ಒಂದು ಸಣ್ಣ ಪರಿಶೀಲನಾ ಸೆಟ್ ರಚಿಸಿ. ನಂತರ ಪಾಸಾಗುವ ಅಂಕೆ ಅರ್ಥಪೂರ್ಣವಾಗುತ್ತದೆ.

ನಿಮ್ಮ ಹಿಂदी ಬಸ್ ವೇಳಾಪಟ್ಟಿ ಸಹಾಯಕರಿಗೆ ನೀವು ನೀಡಿದ ಹತ್ತು ಪರೀಕ್ಷಾ ಪ್ರಶ್ನೆಗಳೆಲ್ಲಾ ಅದು ಈಗಾಗಲೇ ಸರಿಯಾಗಿ ಉತ್ತರಿಸುವ ಪ್ರಶ್ನೆಗಳಾಗಿವೆ. ಅವುಗಳನ್ನು ಓಡಿಸುವ ಮೊದಲು ನೀವು ಏನು ಬದಲಾಯಿಸುತ್ತೀರಿ?

Why this matters

ಸಿಸ್ಟಮ್ ನಿರ್ಮಿಸಿದ ನಂತರ ಆಯ್ದ ಪರಿಶೀಲನಾ ಸೆಟ್ ಸಾಮಾನ್ಯವಾಗಿ ಈಗಾಗಲೇ ತೆಗೆದುಕೊಂಡ ನಿರ್ಧಾರಗಳನ್ನು ಅಳೆಯುತ್ತದೆ.

ಅಂಕೆ ಇಳಿಯಬಹುದಾದ ಸಣ್ಣ ಪರಿಶೀಲನಾ ಸೆಟ್ ರಚಿಸಿ ಮತ್ತು ಪ್ರತಿಯೊಂದು ಐಟಂ ಏನು ಪರೀಕ್ಷಿಸುತ್ತದೆ ಎಂದು ಮುಂಚಿತವಾಗಿ ಹೇಳಿ.

ಸಿಸ್ಟಮ್ ಇವತ್ತು ತಪ್ಪು ಮಾಡಬೇಕಾದ ಐಟಂಗಳನ್ನೂ ಸೇರಿಸಿ.
ಪರಿಶೀಲನೆ ನಡೆಸುವ ಮೊದಲು ನಿರೀಕ್ಷಿತ ಉತ್ತರವನ್ನು ಬರೆಯಿರಿ.
ಪ್ರತಿಯೊಂದು ಐಟಂಗೆ ಸರಳ, ಕಠಿಣ ಅಥವಾ ನಿಜವಾಗಿಯೂ ಅಸ್ಪಷ್ಟ ಎಂದು ಲೇಬಲ್ ಹಾಕಿ.

Task

ಹಿಂದಿ ಬಸ್ ವೇಳಾಪಟ್ಟಿ ಸಹಾಯಕರಿಗಾಗಿ ಹತ್ತು ಐಟಂಗಳ ಸೆಟ್.

Weak approach ಹೆಲ್ಪ್‌ಲೈನ್‌ನ ಸ್ವಂತ ಕಾಲ್ ಲಾಗ್‌ನಿಂದ ಹತ್ತು ನಿಜವಾದ ಪ್ರಶ್ನೆಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ಏನನ್ನೂ ಓಡಿಸುವ ಮೊದಲು ಪ್ರತಿಯೊಂದು ಪ್ರಶ್ನೆಗೆ ನಿರೀಕ್ಷಿತ ಉತ್ತರವನ್ನು ಬರೆಯುತ್ತದೆ. ಎಲ್ಲಾ ಹತ್ತು ಸರಿಯಾಗಿವೆ. ಎಲ್ಲಾ ಹತ್ತು ಪ್ರಶ್ನೆಗಳಿಗೂ ಸಹಾಯಕ ಈಗಾಗಲೇ ಉತ್ತರ ನೀಡುತ್ತಿದ್ದು, ಆದ್ದರಿಂದ ಈ ಸೆಟ್‌ಗೆ ಯಾವುದೇ ಅಂಕ ಕಳೆದುಕೊಳ್ಳಲು ಸಾಧ್ಯವಿಲ್ಲ.

Stronger approach ನಾಲ್ಕು ದಿನನಿತ್ಯದ ಪ್ರಶ್ನೆಗಳು. ನಾಲ್ಕು ತಿಳಿದಿರುವ ತಪ್ಪುಗಳು, ಉದಾಹರಣೆಗೆ ರಾತ್ರಿ ಬಸ್ ಮತ್ತು ಹೆಸರು ಬದಲಾದ ನಿಲ್ದಾಣ. ಇಬ್ಬರು ಸಿಬ್ಬಂದಿ ತಮ್ಮಲ್ಲಿ ಚರ್ಚಿಸುವ ಎರಡು ಪ್ರಶ್ನೆಗಳು. ಪ್ರತಿಯೊಂದಕ್ಕೂ ನಿರೀಕ್ಷಿತ ಉತ್ತರ ಮೊದಲು ಬರೆಯಲಾಗಿದೆ.

Why the stronger approach works ಬಲವಾದ ಸೆಟ್ ನಷ್ಟವನ್ನು ವರದಿ ಮಾಡಬಹುದು. ಅದೇ ಅದನ್ನು ನಡೆಸುವ ಏಕೈಕ ಕಾರಣ.

Try a changed situation ನೀವು ಈಗ ಸಾಮಾನ್ಯ ಸೇವಾ ಕೇಂದ್ರದಲ್ಲಿ ಫಾರ್ಮ್ ಭರ್ತಿಯ ಸಹಾಯಕರನ್ನು ಪರೀಕ್ಷಿಸುತ್ತಿದ್ದೀರಿ. ಯಾವ ನಿಯಮ ಇನ್ನೂ ಅನ್ವಯಿಸುತ್ತದೆ?

Make something yourself ನೀವು ಚೆನ್ನಾಗಿ ತಿಳಿದಿರುವ ಕಾರ್ಯಕ್ಕಾಗಿ ಆರು ಪರಿಶೀಲನಾ ಐಟಂಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿ. ಎರಡು ಸರಳ, ಎರಡು ಕಠಿಣ ಮತ್ತು ಎರಡು ನಿಜವಾಗಿಯೂ ಅಸ್ಪಷ್ಟ ಎಂದು ಗುರುತಿಸಿ. ಪರೀಕ್ಷೆ ಆರಂಭಿಸುವ ಮೊದಲು ಪ್ರತಿಯೊಂದು ಐಟಂಗೆ ನಿರೀಕ್ಷಿತ ಉತ್ತರವನ್ನು ಬರೆಯಿರಿ.

Read the primary or official source: Holistic Evaluation of Language Models