ಉತ್ತರವನ್ನು ಬರೆಯಿರಿ, ನಂತರ ಮೂರು ಪ್ರಯತ್ನಗಳನ್ನು ಗುರುತಿಸಿ

What this lesson is about

ನಿಮ್ಮ ಅಂಕಯೋಜನೆ ಮಾರ್ಗದರ್ಶಕವನ್ನು ಅನ್ವಯಿಸುವ ಉಲ್ಲೇಖ ಉತ್ತರವನ್ನು ಮೊದಲು ಬರೆಯಿರಿ, ನಂತರ ಅದಕ್ಕೆ ಮೂರು ಪ್ರಯತ್ನಗಳನ್ನು ಗುರುತಿಸಿ.

ನಿಮ್ಮ ಯೋಜನೆ ಶುಕ್ರವಾರದೊಳಗೆ ನೂರು ಉತ್ತರಗಳನ್ನು ಅಂಕಮಾಡಲು ಹೇಳುತ್ತದೆ, ಆದರೆ ಎದುರಿನಲ್ಲಿ ಏನೂ ಇಲ್ಲ. ನೀವು ಮೊದಲು ಏನು ಮಾಡುತ್ತೀರಿ?

Why this matters

ಬರೆದ ಉತ್ತರವಿಲ್ಲದೆ ಗುರುತಿಸುವಿಕೆ ತಿರುಗುತ್ತದೆ: ಮೂರನೇ ಉತ್ತರವನ್ನು ಎರಡನೇದ ವಿರುದ್ಧ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗುತ್ತದೆ, ಕಾರ್ಯದ ವಿರುದ್ಧವಲ್ಲ. ಮಾದರಿ ಗುರುತಿಸುವಿಕೆಗಳ ಮೇಲೆ ಪ್ರಕಟಿತ ಕೆಲಸವು ಗುರುತಿಸುವಿಕೆಗೆ ಉಲ್ಲೇಖ ಉತ್ತರವನ್ನು ನೀಡುತ್ತದೆ. ನಿಮ್ಮ ಉತ್ತರವೇ ಆ ಗೋಲ್ಡ್ ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಆಗಿದ್ದು, ಪಟ್ಟಿ ಅದಕ್ಕೆ ನಿಮ್ಮ ಕೊಡುಗೆ ಕೇಳುತ್ತದೆ.

ಮೊದಲು ಉಲ್ಲೇಖ ಉತ್ತರವನ್ನು ಬರೆಯಿರಿ, ನಂತರ ಅದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ ಮೂರು ಪ್ರಯತ್ನಗಳನ್ನು ಗುರುತಿಸಿ.

ಮೊದಲು ಉತ್ತರವನ್ನು ಬರೆಯಿರಿ; ಉತ್ತರವಿಲ್ಲದ ಮಾರ್ಗದರ್ಶಕ ಮೂರನೇ ಪ್ರಕರಣದಲ್ಲಿ ತಿರುಗುತ್ತದೆ.
ಉತ್ತರದ ವಿರುದ್ಧ ಗುರುತಿಸಿ, ಉತ್ತರ ಹೇಗೆ ಕೇಳಿಸುತ್ತದೆ ಎಂಬುದರ ಮೇಲೆ ಅಲ್ಲ.
ಪ್ರತಿ ಅಂಕವನ್ನು ನಿರ್ಧರಿಸಿದ ಒಂದು ಸಾಲನ್ನು ಬರೆಯಿರಿ, ಹೀಗಾಗಿ ಎರಡನೇ ಗುರುತಿಸುವವರು ಭಿನ್ನಾಭಿಪ್ರಾಯ ವ್ಯಕ್ತಪಡಿಸಬಹುದು.

Task

ಮರುಪಡೆಯಲಾದ ಕಾರ್ಟನ್‌ಗಳ ಕಾರ್ಯಕ್ಕೆ ಮೂರು ಉತ್ತರಗಳು ಬರುತ್ತವೆ ಮತ್ತು ಎಲ್ಲರೂ ಕ್ರೆಡಿಟ್ ನಿರಾಕರಿಸುತ್ತಾರೆ.

Weak approach ಮೂರು ಉತ್ತರಗಳನ್ನು ಓದಿ ಉದ್ದವಾದದನ್ನು ಮೊದಲಿಗೆ ಇಡುತ್ತಾನೆ, ಏಕೆಂದರೆ ಅದು ನೀತಿಯನ್ನು ವಿಸ್ತಾರವಾಗಿ ವಿವರಿಸುತ್ತದೆ. ಅದು ನಿರ್ವಹಣಾಧಿಕಾರಿಯಂತೆ ಕೇಳಿಸುತ್ತದೆ. ನಾಲ್ಕು ಸಾಲಿನ ಉತ್ತರವನ್ನು ಕಠಿಣವೆಂದು ಕಡಿಮೆ ಅಂಕ ನೀಡುತ್ತಾನೆ.

Stronger approach ಪ್ರತಿ ಉತ್ತರವನ್ನು ಉಲ್ಲೇಖ ಉತ್ತರದ ವಿರುದ್ಧ ಹಿಡಿದಿಡುತ್ತಾನೆ. ಉದ್ದವಾದ ಉತ್ತರ ತಪ್ಪಾದ ಕಾರಣದಿಂದ ನಿರಾಕರಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಮೊದಲ ಸಾಲಿನ ಅಂಕ ಕಳೆದುಕೊಳ್ಳುತ್ತದೆ. ನಾಲ್ಕು ಸಾಲಿನ ಉತ್ತರವು 60 ದಿನಗಳ ವಿಂಡೋ ಮತ್ತು ಮರುಪೂರೈಕೆ ಶುಲ್ಕವನ್ನು ಹೆಸರಿಸಿ, ಅತ್ಯುತ್ತಮ ಅಂಕ ಪಡೆಯುತ್ತದೆ.

Why the stronger approach works ದೌರ್ಬಲ್ಯ ಗುರುತಿಸುವವರು ಉತ್ತರಗಳನ್ನು ಪರಸ್ಪರ ಹೋಲಿಸಿದ್ದಾರೆ. ಶಕ್ತಿಶಾಲಿ ಗುರುತಿಸುವವರು ಪ್ರತಿಯೊಂದು ಉತ್ತರವನ್ನು ಉಲ್ಲೇಖ ಉತ್ತರದೊಂದಿಗೆ ಹೋಲಿಸಿದ್ದಾರೆ, ಆದ್ದರಿಂದ ಎರಡನೇ ಗುರುತಿಸುವವರು ಅವರ ಕೆಲಸವನ್ನು ಪರಿಶೀಲಿಸಬಹುದು.

Try a changed situation ಮಾಧ್ಯಮ ಡೆಸ್ಕ್ ನಿಮಗೆ ಒಂದೇ ಪ್ರೆಸ್ ನೋಟಿನ ಎರಡು ಸುದ್ದಿಸಾರಾಂಶಗಳನ್ನು ಅಂಕಮಾಡಲು ಕೇಳುತ್ತದೆ. ಒಂದು ಸೊಗಸಾದದ್ದು, ಇನ್ನೊಂದು ಸರಳ.

Make something yourself ಮೊದಲ ಪಾಠದ ನಿಮ್ಮ ಸ್ವಂತ ಕಾರ್ಯವನ್ನು ತೆಗೆದುಕೊಳ್ಳಿ. ಅದರ ಉಲ್ಲೇಖ ಉತ್ತರವನ್ನು ಬರೆಯಿರಿ, ನಂತರ ಅದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ ಮೂರು ಉತ್ತರಗಳನ್ನು ಗುರುತಿಸಿ. ಪ್ರತಿ ಅಂಕದ ಕೆಳಗೆ ಅದನ್ನು ನಿರ್ಧರಿಸಿದ ಒಂದು ಸಾಲನ್ನು ಬರೆಯಿರಿ.

Read the primary or official source: Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)