ನೇರ ಪ್ರಾಧಾನ್ಯ ತರಬೇತಿ

What this lesson is about

ಎರಡು ಮಾರ್ಗಗಳನ್ನು ಹೋಲಿಸಿ: ಸ್ಕೋರರ್ ಅನ್ನು ತರಬೇತಿಪಡಿಸಿ RL ಬಳಸಿ, ಅಥವಾ ಜೋಡಿಯಿಂದ ನೇರವಾಗಿ ಮಾದರಿಯನ್ನು ಚಲಾಯಿಸಿ.

ಒಂದು ಸಂಸ್ಥೆ ನಿಮ್ಮ ವಲಯಕ್ಕೆ ಹೇಳುತ್ತದೆ, ಈ ಕೆಲಸಕ್ಕೆ ಸ್ಕೋರರ್ ಇನ್ನಿಲ್ಲ ನಿರ್ಮಿಸಲಾಗುವುದಿಲ್ಲ. ಕೊಠಡಿಯಲ್ಲಿ ಯಾರಿಗೂ ಅರ್ಥವಾಗುತ್ತಿಲ್ಲ.

Why this matters

ಹಳೆಯ ಮಾರ್ಗವು ನಿಮ್ಮ ಜೋಡಿಗಳಿಂದ ಸ್ಕೋರರ್ ಅನ್ನು ತರಬೇತಿಪಡಿಸಿ, ನಂತರ RL ಮೂಲಕ ಮಾದರಿಯನ್ನು ಅದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ ಸುಧಾರಿಸುತ್ತದೆ. 2023 ರಲ್ಲಿ ಪ್ರಕಟಿತ ನೇರ ಪ್ರಾಧಾನ್ಯ ತರಬೇತಿ ಸ್ಕೋರರ್ ಅನ್ನು ತೆಗೆದುಹಾಕಿ ಆಯ್ಕೆಮಾಡಲಾದ ಮತ್ತು ತಿರಸ್ಕೃತ ಉತ್ತರದಿಂದ ನೇರವಾಗಿ ಮಾದರಿಯನ್ನು ಚಲಾಯಿಸುತ್ತದೆ. ನಿಮ್ಮ ಗುರುತಿಸುವಿಕೆ ಬದಲಾಗುವುದಿಲ್ಲ. ಒಂದು ಅಭ್ಯಾಸ ಈಗ ಹೆಚ್ಚು ವೆಚ್ಚವಾಗುತ್ತದೆ: ಸಮತೋಲನ ಗುರುತಿಸಿದ ಜೋಡಿ ಈ ಮಾರ್ಗಕ್ಕೆ ಏನೂ ನೀಡುವುದಿಲ್ಲ.

ನೇರ ಪ್ರಾಧಾನ್ಯ ತರಬೇತಿ ಹಳೆಯ ಎರಡು ಹಂತದ ಮಾರ್ಗದಿಂದ ಹೇಗೆ ಭಿನ್ನವಾಗಿದೆ ಮತ್ತು ಅದು ನಿಮ್ಮ ಬ್ಯಾಚ್‌ನಿಂದ ಏನು ಕೇಳುತ್ತದೆ ಎಂದು ಹೇಳಿ.

ನೇರ ಪ್ರಾಧಾನ್ಯ ತರಬೇತಿ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆಮಾಡಲಾದ ಮತ್ತು ತಿರಸ್ಕೃತ ಉತ್ತರದಿಂದ ನೇರವಾಗಿ ಚಲಾಯಿಸುತ್ತದೆ.
ಹಳೆಯ ಮಾರ್ಗಕ್ಕೆ ಎರಡು ಹಂತಗಳು ಬೇಕು: ಸ್ಕೋರರ್ ಅನ್ನು ಕಲಿಸಿ, ನಂತರ RL ಮೂಲಕ ಮಾದರಿಯನ್ನು ಸುಧಾರಿಸಿ.
ನಿಮ್ಮ ಸ್ವಂತ ಬ್ಯಾಚ್‌ನಲ್ಲಿ ಪರಿಶೀಲಿಸಬೇಕಾದ ಸಂಖ್ಯೆ ಎಂದರೆ ನೀವು ಸಮತೋಲನ ಎಂದು ಗುರುತಿಸಿದ ಜೋಡಿಗಳ ಸಂಖ್ಯೆ.

Task

ಖರೀದಿದಾರನು ನಿಮ್ಮ ವಲಯವನ್ನು ನೇರ ಪ್ರಾಧಾನ್ಯ ಓಟಕ್ಕಾಗಿ ಮೂರು ನೂರು ಹಳೆಯ ಜೋಡಿಗಳನ್ನು ಮರುಪರಿಶೀಲಿಸಲು ಕೇಳುತ್ತಾನೆ.

Weak approach ಹಳೆಯ ಗುರುತುಗಳು ಸಾಕಾಗುತ್ತವೆ ಎಂದು ಹೇಳುತ್ತಾನೆ, ಏಕೆಂದರೆ ಉತ್ತರಗಳು ಬದಲಾಗಿಲ್ಲ ಮತ್ತು ಉತ್ತಮದ ಮೇಲೆ ಗುರುತು ಹಾಕಲಾಗಿದೆ. ಶೀಟ್ ತೆರೆಯದೆ ಎಲ್ಲಾ ಮೂರು ನೂರು ಜೋಡಿಗಳನ್ನು ಕಳುಹಿಸುತ್ತಾನೆ.

Stronger approach ಮೊದಲು ಸಮತೋಲನಗಳನ್ನು ಎಣಿಸಿ, ಮೂರು ನೂರು ಜೋಡಿಗಳಲ್ಲಿ ನಲವತ್ತೊಂದು ಕಂಡುಹಿಡಿಯುತ್ತಾನೆ. ಅವುಗಳನ್ನು ನಿರ್ಧರಿಸಲು ಅಥವಾ ತೆಗೆದುಹಾಕಲು ಹಿಂದಿರುಗಿಸಿ, ಕಾರಣವನ್ನು ಶೀಟಿನಲ್ಲಿ ಬರೆಯುತ್ತಾನೆ.

Why the stronger approach works ಎರಡೂ ಒಬ್ಬೇ ಬ್ಯಾಚ್ ಅನ್ನು ಮರುಪಠಿಸುತ್ತಾರೆ. ಕೇವಲ ಬಲವಾದವನು ಈ ರೀತಿಯ ಓಟ ಬಳಸಲಾರದ ಗುರುತುಗಳನ್ನು ಎಣಿಸುತ್ತಾನೆ.

Try a changed situation ನಿಮ್ಮ ಮೂರು ನೂರು ಜೋಡಿಗಳಲ್ಲಿ ನಲವತ್ತೊಂದು ಸಮತೋಲನಗಳಿವೆ. ಖರೀದಿದಾರನು ಈ ವಾರ ನೇರ ಪ್ರಾಧಾನ್ಯ ಓಟವನ್ನು ಬಯಸುತ್ತಾನೆ.

Make something yourself ನೀವು ಗುರುತಿಸಿದ ಜೋಡಿಗಳ ಬ್ಯಾಚ್ ತೆಗೆದುಕೊಳ್ಳಿ. ಎಷ್ಟು ಸಮತೋಲನಗಳಿವೆ ಎಂದು ವರದಿ ಮಾಡಿ, ಮತ್ತು ನೇರ ಪ್ರಾಧಾನ್ಯ ಓಟದ ಮೊದಲು ಅವುಗಳೊಂದಿಗೆ ನೀವು ಏನು ಮಾಡುತ್ತೀರಿ ಎಂದು ಹೇಳಿ.

Read the primary or official source: Rafailov et al., Direct Preference Optimization (arXiv)