ಗೋಲ್ಡ್ ಐಟಂಗಳು, ಮತ್ತು ನಿಮ್ಮ ಸಾಲು ಏಕೆ ನಿಲ್ಲುತ್ತದೆ

What this lesson is about

ನಿಮ್ಮ ಬ್ಯಾಚ್‌ನ ಕೆಲವು ಐಟಂಗಳಿಗೆ ಈಗಾಗಲೇ ನಿರ್ಧಾರವಾದ ಉತ್ತರವಿದೆ. ನೀವು ಅವುಗಳೊಂದಿಗೆ ಒಪ್ಪಿಕೊಳ್ಳುವ ರೀತಿಯೇ ಕೆಲಸ ಮುಂದುವರಿಯುವುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ.

ಇಂದಿನ 40 ಕೆಲಸಗಳಲ್ಲಿ 6 ಐಟಂಗಳನ್ನು ತಂಡ ಈಗಾಗಲೇ ನಿರ್ಧರಿಸಿದೆ. ಯಾವವು ಎಂಬುದನ್ನು ಯಾರೂ ಹೇಳುವುದಿಲ್ಲ. ಏನು ಬದಲಾಗುತ್ತದೆ?

Why this matters

ಪ್ರಾಜೆಕ್ಟ್ ಕೆಲವು ಐಟಂಗಳನ್ನು ಮುಂಚಿತವಾಗಿ ನಿರ್ಧರಿಸಿ ಅವುಗಳನ್ನು ನಿಮ್ಮ ಮೇಲೆ ಅಳೆಯುತ್ತದೆ. ಯಾವವು ಎಂಬುದನ್ನು ಹೇಳುವುದಿಲ್ಲ. ಒಂದು ಪ್ರಕಟಿತ ಪ್ರಾಜೆಕ್ಟ್ ತನ್ನ ವಿಮರ್ಶಕರನ್ನು ಹೀಗೆ ಅಳೆಯಿತು. ತರಬೇತಿಯ ಹೊರಗಿನ ವಿಮರ್ಶಕರು 100ರಲ್ಲಿ ಸುಮಾರು 77 ಬಾರಿ ಒಪ್ಪಿಕೊಂಡರು. 100ರಲ್ಲೂ 100 ಒಪ್ಪಿಗೆಯೇ ಸಾಧ್ಯವಿಲ್ಲ ಮತ್ತು ಯಾವುದೇ ಗಡಿಬಿಡಿ ಅದನ್ನು ಬೇಡುತ್ತದೆ.

ನೀವು ಕೆಲಸ ಮಾಡುವಾಗ ವೇದಿಕೆ ಏನು ಅಳೆಯುತ್ತದೆ ಮತ್ತು ನಿಮ್ಮ ಸಾಲು ನಿಲ್ಲಿಸಿದಾಗ ಏನು ಮಾಡಬೇಕು ಎಂಬುದನ್ನು ತಿಳಿದುಕೊಳ್ಳಿ.

ಗೋಲ್ಡ್ ಐಟಂ ಎಂದರೆ ನೀವು ನೋಡಲು ಮೊದಲು ಪ್ರಾಜೆಕ್ಟ್ ನಿರ್ಧರಿಸಿದ ಉತ್ತರವಿರುವುದು.
ನಿಲ್ಲಿಸಿದ ಸಾಲು ಮಾರ್ಗಸೂಚಿ ಬಗ್ಗೆ ಸಂದೇಶ, ನಿಮ್ಮ ಬಗ್ಗೆ ತೀರ್ಮಾನವಲ್ಲ.
ಮುಂದಿನ ಬ್ಯಾಚ್ ಮುಟ್ಟುವ ಮೊದಲು ನೀವು ತಪ್ಪಾದ ಗೋಲ್ಡ್ ಐಟಂಗಳನ್ನು ಕೇಳಿ.

Task

ಮಂಗಳವಾರ ನಿಮ್ಮ ಕೆಲಸ ನಿಲ್ಲುತ್ತದೆ. ಸಂದೇಶವು ಗುಪ್ತ ಪರಿಶೀಲಿತ ಐಟಂಗಳ ಮೇಲೆ ನಿಮ್ಮ ಅಂಕ 100ರಲ್ಲಿ 62ಕ್ಕೆ ಇಳಿದಿದೆ ಎಂದು ಹೇಳುತ್ತದೆ. ಈ ಪ್ರಾಜೆಕ್ಟಿನ ಗಡಿ 80.

Weak approach ಅದೇ ಸಂಜೆ ಹೊಸ ಬ್ಯಾಚ್ ತೆರೆಯುತ್ತಾನೆ ಮತ್ತು ಎರಡು ಪಟ್ಟು ವೇಗವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತಾನೆ. ಸುಲಭವಾಗಿ ಕಾಣುವ ಐಟಂಗಳನ್ನು ಮೊದಲು ತೆಗೆದುಕೊಳ್ಳುತ್ತಾನೆ ಮತ್ತು ಅನುಮಾನಾಸ್ಪದಗಳನ್ನು ನಂತರಕ್ಕೆ ಬಿಡುತ್ತಾನೆ.

Stronger approach ಕೆಲಸ ನಿಲ್ಲಿಸುತ್ತಾನೆ. ತಪ್ಪಾದ ಎಂಟು ಪರಿಶೀಲಿತ ಐಟಂಗಳನ್ನು ಕೇಳುತ್ತಾನೆ. ಆ ಎಂಟಿನಲ್ಲಿ ಆರು ಒಂದೇ ರೀತಿಯವು. ಬಳಕೆದಾರನು ಮೊದಲ ಬಾರಿ ಹಿಂದಿಯನ್ನು ಕೇಳಿದ್ದನು, ಉತ್ತರ ಇಂಗ್ಲಿಷ್‌ನಲ್ಲಿ ಬಂದಿತು. ಮಾರ್ಗಸೂಚಿಯ ಆ ಪುಟವನ್ನು ಮರುಪಠಿಸುತ್ತಾನೆ, ನಂತರ ಮುಂದಿನ ಬ್ಯಾಚ್ ತೆರೆಯುತ್ತಾನೆ.

Why the stronger approach works ನಿಲ್ಲುವಿಕೆಯ ನಂತರ ವೇಗವಾಗಿ ಕೆಲಸ ಮಾಡುವುದು ಅಂಕಗಳನ್ನು ತಪ್ಪು ದಿಕ್ಕಿಗೆ ಕರೆದೊಯ್ಯುತ್ತದೆ. ಎಂಟಿನಲ್ಲಿ ಆರು ತಪ್ಪುಗಳಿಗೆ ಒಂದೇ ಕಾರಣವಿತ್ತು ಮತ್ತು ಅದು ಮಾರ್ಗಸೂಚಿಯ ಒಂದು ಪುಟದಲ್ಲಿ ಬರೆದಿತ್ತು.

Try a changed situation ಈ ವಾರ ಎರಡು ಆರ್ಡರ್‌ಗಳು ತಪ್ಪಾಗಿ ಗುರುತಿಸಲ್ಪಟ್ಟ ನಂತರ ಡೆಲಿವರಿ ಆಪ್ ನಿಮ್ಮ ಖಾತೆಯನ್ನು ಪರಿಶೀಲನೆಗೆ ತೆಗೆದುಕೊಂಡಿದೆ. ನಿಮ್ಮ ಮೊದಲ ಕ್ರಮವೇನು?

Make something yourself ನೀವು ವಿಫಲವಾದ ಒಂದು ಪರಿಶೀಲನೆಯ ಬಗ್ಗೆ ಒಂದು ಪುಟ ಬರೆಯಿರಿ, ಕೆಲಸದಲ್ಲಿ ಅಥವಾ ಪರೀಕ್ಷೆಯಲ್ಲಿ. ಏನು ಅಳೆಯಲಾಗುತ್ತಿತ್ತು ಎಂದು ಹೆಸರಿಸಿ. ನೀವು ಮರುಪಠಿಸಿದದ್ದು ಮತ್ತು ನಂತರ ಕೇಳಿದ ಒಂದು ಪ್ರಶ್ನೆಯನ್ನು ಹೇಳಿ.

Read the primary or official source: Ouyang et al., Training language models to follow instructions (arXiv)