All learning paths Learn See Try Make ಪ್ರೀತಿಪೂರ್ವಕ ಬ್ಯಾಚ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ What this lesson is about ಪ್ರೀತಿಪೂರ್ವಕ ಗುರುತುಗಳ ಬ್ಯಾಚ್ ಅನ್ನು ತೆರೆಯಿರಿ ಮತ್ತು ಅಂಕ ನೀಡುವವರು ಅದರಿಂದ ಯಾವ ತಪ್ಪುಗಳನ್ನು ಕಲಿಯುತ್ತಾರೆ ಎಂದು ಎಣಿಸಿ, ನಂತರ ಟಿಪ್ಪಣಿ ಬರೆಯಿರಿ.
ನವಶತ ಗುರುತಿಸಿದ ಜೋಡಿಗಳ ಬ್ಯಾಚ್ ಪ್ರಯೋಗಶಾಲೆಗೆ ಹೋಗುವ ಮೊದಲು ನಿಮ್ಮ ಮೇಜಿನ ಮೇಲೆ ಬರುತ್ತದೆ. ನೀವು ಮೊದಲು ಏನು ಎಣಿಸುವಿರಿ?
A ಪ್ರತಿ ವ್ಯಕ್ತಿ ಎಷ್ಟು ಜೋಡಿಗಳನ್ನು ಮುಗಿಸಿದ್ದಾರೆ ಎಂದು, ನಿಧಾನಗತಿಯ ಮೇಜು ಪ್ರಯೋಗಶಾಲೆಯ ದೂರು ಮೊದಲು ಕಾಣಿಸುವಂತೆ. B ಮೂರು ತಪ್ಪುಗಳು ಅಂಕದಾರನನ್ನು ಹಾಳುಮಾಡುತ್ತವೆ: ಉದ್ದದ ಗೆಲುವು, ಮೊದಲು ತೋರಿಸಿದ ಉತ್ತರದ ಗೆಲುವು, ಮತ್ತು ಒಬ್ಬ ವಿಮರ್ಶಕನೊಬ್ಬನಿಂದ ಗುರುತಿಸುವುದು. C ಆಯ್ದ ಉತ್ತರಗಳು ಚೆನ್ನಾಗಿ ಓದಿದವೆಯೇ, ಏಕೆಂದರೆ ಉತ್ತಮ ಆಯ್ದ ಉತ್ತರಗಳಿಂದ ಉತ್ತಮ ಬ್ಯಾಚ್ ಬರುತ್ತದೆ.
Check my recall Why this matters ಒಂದು ಪ್ರಕಟಿತ ಸಹಾಯಕ ಯೋಜನೆ ತನ್ನದೇ ಸಂಶೋಧಕರು ಮತ್ತು ಪಾವತಿಸಿದ ವಿಮರ್ಶಕರ ನಡುವೆ ಅಪ್ಪಂದವನ್ನು ಸುಮಾರು 63% ಅಂದಾಜಿಸಿದೆ. ಕಠಿಣ ಪ್ರಕರಣಗಳ ಮೇಲೆ ಜಾಗರೂಕ ಕೆಲಸ ಹೀಗೇ ಕಾಣಿಸುತ್ತದೆ. ಆದ್ದರಿಂದ ಸ್ವತಃ ಬಹುಮಾನ ಹೊಂದಿರುವ ಬ್ಯಾಚ್ ಅನ್ನು ಮೊದಲು ತೆರೆಯಿರಿ. ನೀವು ಹುಡುಕುತ್ತಿರುವುದು ಅಂಕದಾರನು ನಕಲಿಸುವ ಅಭ್ಯಾಸ.
ಅಂಕದಾರನು ಕಲಿಯಬಹುದಾದ ತಪ್ಪುಗಳಿಗಾಗಿ ಪ್ರೀತಿಪೂರ್ವಕ ಗುರುತುಗಳ ಬ್ಯಾಚ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ. ಅದಕ್ಕೆ ಹೊಂದಿಕೊಂಡ ಟಿಪ್ಪಣಿಯನ್ನು ಬರೆಯಿರಿ.
ಒಂದು ಪ್ರಕಟಿತ ಸಹಾಯಕ ಯೋಜನೆ ತನ್ನದೇ ಸಂಶೋಧಕರು ಮತ್ತು ಪಾವತಿಸಿದ ವಿಮರ್ಶಕರ ನಡುವೆ ಅಪ್ಪಂದವನ್ನು ಸುಮಾರು 63% ಅಂದಾಜಿಸಿದೆ. ಕಠಿಣ ಪ್ರಕರಣಗಳ ಮೇಲೆ ಜಾಗರೂಕ ಕೆಲಸ ಹೀಗೇ ಕಾಣಿಸುತ್ತದೆ. ಆದ್ದರಿಂದ ಸ್ವತಃ ಬಹುಮಾನ ಹೊಂದಿರುವ ಬ್ಯಾಚ್ ಅನ್ನು ಮೊದಲು ತೆರೆಯಿರಿ. ನೀವು ಹುಡುಕುತ್ತಿರುವುದು ಅಂಕದಾರನು ನಕಲಿಸುವ ಅಭ್ಯಾಸ.
ಮೂರು ತಪ್ಪುಗಳು ಅಂಕದಾರನನ್ನು ಹಾಳುಮಾಡುತ್ತವೆ: ಉದ್ದದ ಗೆಲುವು, ಮೊದಲು ತೋರಿಸಿದ ಉತ್ತರದ ಗೆಲುವು, ಮತ್ತು ಒಬ್ಬ ವಿಮರ್ಶಕನೊಬ್ಬನಿಂದ ಗುರುತಿಸುವುದು. ಸುಮಾರು ಪರಿಪೂರ್ಣ ಅಪ್ಪಂದವು ಬಹುಮಾನವಲ್ಲ, ಎಚ್ಚರಿಕೆ ಮಾತ್ರ, ಏಕೆಂದರೆ ಕಠಿಣ ಪ್ರಕರಣಗಳಲ್ಲಿ ಜಾಗರೂಕ ಜನರೂ ವಿಭಜಿಸುತ್ತಾರೆ. ಎಣಿಕೆಗಳನ್ನು ಮಾದರಿ ಗಾತ್ರದೊಂದಿಗೆ ವರದಿ ಮಾಡಿ, ಮತ್ತು ನೀವು ಪರೀಕ್ಷಿಸದ ತಪ್ಪನ್ನು ತಿಳಿಸಿ. Task ಆರೋಗ್ಯ ಸಹಾಯವಾಣಿ ನವಶತ ಪ್ರೀತಿಪೂರ್ವಕ ಜೋಡಿಗಳಲ್ಲಿ ಅರವತ್ತನ್ನು ಪರಿಶೀಲಿಸಿ, ತರಬೇತಿಗೆ ಹೋಗುವ ಮೊದಲು.
Weak approach ಅರವತ್ತು ಜೋಡಿಗಳನ್ನು ಓದಿ, ಪ್ರತಿಯೊಂದು ಗುರುತನ್ನು ಸಮಂಜಸವೆಂದು ಕಂಡು, ಬ್ಯಾಚ್ ಸ್ವಚ್ಛವಾಗಿದೆ ಮತ್ತು ಹೋಗಬಹುದು ಎಂದು ಬರೆಯುತ್ತಾನೆ. ಏನೂ ಎಣಿಸುವುದಿಲ್ಲ ಮತ್ತು ಯಾವುದೇ ವಿಮರ್ಶಕರನ್ನು ಹೆಸರಿಸುವುದಿಲ್ಲ.
Stronger approach ಎಣಿಕೆ: ಅರವತ್ತು ಜೋಡಿಗಳಲ್ಲಿ ನಲವತ್ತೆಂಟು ಬಾರಿ ಉದ್ದದ ಉತ್ತರ ಗೆದ್ದಿತು, ಮತ್ತು ನಲವತ್ತೊಂದು ಬಾರಿ ಮೊದಲು ತೋರಿಸಿದ ಉತ್ತರ. ಎರಡನ್ನೂ ಮಾದರಿ ಗಾತ್ರದೊಂದಿಗೆ ವರದಿ ಮಾಡುತ್ತಾನೆ ಮತ್ತು ಕ್ರಮವನ್ನು ಬದಲಿಸಿ ಮೂರ್ನೂರು ಜೋಡಿಗಳನ್ನು ಮರು ಗುರುತಿಸಲು ಕೇಳುತ್ತಾನೆ.
Why the stronger approach works ಎರಡೂ ವಿಮರ್ಶಕರು ಅದೇ ಅರವತ್ತು ಜೋಡಿಗಳನ್ನು ಓದಿದರು. ಬಲವಾದ ಪರಿಶೀಲನೆ ಆ ಓದನ್ನು ಖರೀದಿದಾರನು ಪರಿಶೀಲಿಸಬಹುದಾದ ಎರಡು ಎಣಿಕೆಗಳಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ.
Try a changed situation ನಿಮ್ಮ ಮಾದರಿಯ ಅರವತ್ತು ಕಠಿಣ ಜೋಡಿಗಳಲ್ಲಿ ಎರಡೂ ವಿಮರ್ಶಕರು 59 ಜೋಡಿಗಳಲ್ಲಿ ಅಪ್ಪಂದ ಹೊಂದಿದ್ದಾರೆ. ಖರೀದಿದಾರನು ಅದನ್ನು ಅತ್ಯುತ್ತಮ ಕೆಲಸವೆಂದು ಕರೆಯುತ್ತಾನೆ.
Make something yourself ಒಂದು ಪ್ರೀತಿಪೂರ್ವಕ ಬ್ಯಾಚ್ನ ಮಾದರಿಯನ್ನು ಪರಿಶೀಲಿಸಿ. ಉದ್ದದ ಗೆಲುವುಗಳು ಮತ್ತು ಮೊದಲು ತೋರಿಸಿದ ಗೆಲುವುಗಳನ್ನು ಎಣಿಸಿ, ನಂತರ ಬ್ಯಾಚ್ ಜೊತೆಗೆ ಹೋಗುವ ಟಿಪ್ಪಣಿಯನ್ನು ಬರೆಯಿರಿ.
Read the primary or official source: Bai et al., Training a Helpful and Harmless Assistant with RLHF (arXiv)