ನಿಶಾನ ಹಾಕುವ ಮಾದರಿಯನ್ನು ಪರಿಶೀಲಿಸಿ

What this lesson is about

ನಿಮ್ಮ ಸ್ವಂತ ಗುರುತಿನೊಂದಿಗೆ ಮಾದರಿ ಗುರುತಿಸುವವರನ್ನು ಅಳೆಯಿರಿ ಮತ್ತು ಅದರ ಅಂಕೆಯನ್ನು ಅರ್ಥವಿಲ್ಲದಂತೆ ಮಾಡುವ ಮೂರು ಅಭ್ಯಾಸಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ.

ನಿಮ್ಮ ಖರೀದಿದಾರನು ಪ್ರತೀ ವಾರ ಎರಡು ಸಾವಿರ ಉತ್ತರಗಳನ್ನು ಗುರುತಿಸಲು ಬಯಸುತ್ತಾನೆ ಮತ್ತು ಅದಕ್ಕಾಗಿ ಒಂದು ಮಾದರಿಯನ್ನು ನೀಡುತ್ತಾನೆ. ನೀವು ಎಲ್ಲಿಂದ ಪ್ರಾರಂಭಿಸುತ್ತೀರಿ?

Why this matters

ಮಾದರಿ ಒಂದು ಗುಂಪಿಗಿಂತ ಬಹಳ ಹೆಚ್ಚು ಉತ್ತರಗಳನ್ನು ಗುರುತಿಸಬಹುದು. ಪ್ರಕಟಿತ ಅಧ್ಯಯನದಲ್ಲಿ ಒಂದು ಬಲವಾದ ಮಾದರಿ ಜನರೊಂದಿಗೆ ಸುಮಾರು ಎಪ್ಪತ್ತು ಶೇಕಡಾ ಒಪ್ಪಿಗೆಯನ್ನು ತೋರಿಸಿತು, ಇದು ಎರಡು ಜನರ ಒಪ್ಪಿಗೆಯಷ್ಟೇ. ಆ ಅಧ್ಯಯನದಲ್ಲಿ ಪರೀಕ್ಷಿಸಬೇಕಾದ ಅಭ್ಯಾಸಗಳನ್ನು ಹೆಸರಿಸಲಾಗಿದೆ: ಉದ್ದವಾದ ಉತ್ತರ ಗೆಲ್ಲುತ್ತದೆ, ಮೊದಲ ಉತ್ತರ ಗೆಲ್ಲುತ್ತದೆ ಮತ್ತು ಮಾದರಿಗೆ ತನ್ನಲೇ ಬರೆದದ್ದು ಇಷ್ಟ.

ನಿಮ್ಮ ಸ್ವಂತ ಗುರುತಿನೊಂದಿಗೆ ಉತ್ತರಗಳನ್ನು ಗುರುತಿಸುವ ಮಾದರಿಯನ್ನು ಪರಿಶೀಲಿಸಿ, ನಂತರ ಮಾತ್ರ ಅದರ ಅಂಕೆಯನ್ನು ನಂಬಿ.

ಮೊದಲು ಒಂದು ಗುಂಪನ್ನು ಕೈಯಿಂದ ಗುರುತಿಸಿ, ನಂತರ ಗುರುತಿಸುವ ಮಾದರಿ ನಿಮ್ಮೊಂದಿಗೆ ಎಷ್ಟು ಬಾರಿ ಒಪ್ಪುತ್ತದೆಯೋ ಎಣಿಸಿ.
ಮೂರು ಅಭ್ಯಾಸಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ: ಉದ್ದವಾದ ಉತ್ತರ ಗೆಲ್ಲುವುದು, ಮೊದಲ ಉತ್ತರ ಗೆಲ್ಲುವುದು ಮತ್ತು ಮಾದರಿಯು ತನ್ನಲೇ ಬರೆದದ್ದನ್ನು ಇಷ್ಟಪಡುವುದು.
ಒಪ್ಪಂದದ ಅಂಕೆಯನ್ನು ಎಣಿಕೆಯಿಂದ ಜೊತೆಗೆ ಪ್ರಕಟಿಸಿ, ಮಾದರಿಯ ಅಂಕೆಯನ್ನು ಒಬ್ಬಲಾಗಿ ಪ್ರಕಟಿಸಬೇಡಿ.

Task

ಒಂದು ತಂಡವು ಮಾದರಿಯನ್ನು ಪ್ರತೀ ವಾರ ಎರಡು ಸಾವಿರ ಹಿಂದಿ ಉತ್ತರಗಳನ್ನು ಗುರುತಿಸಲು ಬಯಸುತ್ತದೆ.

Weak approach ಎಲ್ಲಾ ಎರಡು ಸಾವಿರ ಉತ್ತರಗಳ ಮೇಲೆ ಮಾದರಿಯನ್ನು ಓಡಿಸಿ, ಉತ್ತೀರ್ಣರ ಪ್ರಮಾಣವನ್ನು ವರದಿ ಮಾಡಿ ಮತ್ತು ಕೆಲವು ಉತ್ತರಗಳ ಗುರುತು ಸರಿಹೋಗಿದೆ ಎಂದು ಹೇಳುತ್ತದೆ. ಕೈಯಿಂದ ಯಾವುದೇ ಗುರುತಿಸುವುದಿಲ್ಲ.

Stronger approach ಮೊದಲು ಎಪ್ಪತ್ತು ಉತ್ತರಗಳನ್ನು ಕೈಯಿಂದ ಗುರುತಿಸುತ್ತದೆ. ಮಾದರಿ ಅಲ್ಲಿ ಅರವತ್ತೆರಡು ಉತ್ತರಗಳಿಗೆ ಒಪ್ಪಿದೆ ಮತ್ತು ಹನ್ನೆಂಟು ವಿಭಜನೆಗಳಲ್ಲಿ ಹದಿನಾಲ್ಕು ಉದ್ದವಾದ ಉತ್ತರಗಳ ಪರವಾಗಿದೆ. ಉಳಿದವನ್ನೂ ಓಡಿಸುವ ಮೊದಲು ಎರಡೂ ಎಣಿಕೆಗಳನ್ನು ವರದಿ ಮಾಡುತ್ತದೆ.

Why the stronger approach works ಎರಡೂ ಮಾದರಿಯನ್ನು ಬಳಸಿವೆ. ಬಲವಾದ ಉತ್ತರ ಮಾತ್ರ ಅದರ ಅಂಕೆಯ ಮೌಲ್ಯವೇನು ಎಂದು ಹೇಳಬಹುದು.

Try a changed situation ಮಾದರಿ ಹತ್ತು ಜೋಡಿಗಳಲ್ಲಿ ಏಳಿನಲ್ಲಿ ಮೊದಲ ಉತ್ತರವನ್ನು ಮೇಲುಗೈ ಮಾಡುತ್ತದೆ. ನಿಮ್ಮ ಸ್ವಂತ ಗುರುತಿನ ಅಂಕೆಗಳು ಸಮಾನವಾಗಿ ಹಂಚಿಕೊಂಡಿವೆ.

Make something yourself ನಲವತ್ತು ಉತ್ತರಗಳನ್ನು ಕೈಯಿಂದ ಗುರುತಿಸಿ, ನಂತರ ಅದೇ ನಲವತ್ತು ಉತ್ತರಗಳನ್ನು ಮಾದರಿಯಿಂದ ಗುರುತಿಸಿ. ಒಪ್ಪಂದವನ್ನು ವರದಿ ಮಾಡಿ ಮತ್ತು ವಿಭಜನೆಗಳ ಹಿಂದೆ ಇರುವ ಅಭ್ಯಾಸವನ್ನು ಹೆಸರಿಸಿ.

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)