ಇತರರೊಂದಿಗೆ ವಿಮರ್ಶಾ ಸುತ್ತು ನಡೆಸಿ

What this lesson is about

ಮೂರು ವಿಮರ್ಶಕರಿಗೆ ಒಂದೇ ಪ್ರಕರಣಗಳನ್ನು ನೀಡಿ, ಅವರು ಎಲ್ಲಿ ವಿಭಜಿತರಾಗಿದ್ದಾರೆ ಎಂದು ಹೋಲಿಸಿ, ಮತ್ತು ಜನರನ್ನು ಬದಲಿಸುವುದರ ಬದಲು ಸೂಚನೆಯನ್ನು ಸರಿಪಡಿಸಿ.

ಐದು ಪ್ರಕರಣಗಳನ್ನು ಹಂಚಿದರು. ಕೊನೆಯದರಲ್ಲಿ, ಇಬ್ಬರು ಸಂದೇಶವನ್ನು ಬೆದರಿಕೆ ಎಂದು ಕರೆಸಿದರು ಮತ್ತು ಒಬ್ಬರು ಹಾಸ್ಯ ಎಂದು ಹೇಳಿದರು. ಈಗ ಏನು ಮಾಡಬೇಕು?

Why this matters

ಒಂದು ರೌಂಡ್‌ನ ಉದ್ದೇಶ ಕೆಟ್ಟ ವಿಮರ್ಶಕನನ್ನು ಹಿಡಿಯುವುದು ಅಲ್ಲ. ಒಂದು ಪ್ರಕಟಿತ ಸುರಕ್ಷತಾ ಅಧ್ಯಯನದಲ್ಲಿ, ಮೂರು ವಿಮರ್ಶಕರು ಒಂದೇ ಐದು ನೂರು ಪ್ರಕರಣಗಳನ್ನು ವಿಮರ್ಶಿಸಿದರು. ಲೇಖಕರನ್ನು ಸೇರಿಸಿ, ನಾಲ್ಕರ ಒಪ್ಪಂದವು ಸಾಧ್ಯತೆಯನ್ನು ತೆಗೆದುಹಾಕಿದ ಮೇಲೆ 0.32 ಆಗಿತ್ತು. ರೇಟಿಂಗ್ ಅನ್ನು ಹೌದು ಅಥವಾ ಇಲ್ಲ ಎಂದು ಕಡಿಮೆ ಮಾಡಿದಾಗ ಅದು 0.49ಕ್ಕೆ ಏರಿತು. ಲೇಖಕರು ತಪ್ಪನ್ನು ಜನರಲ್ಲದೆ ತಮ್ಮ ಕೆಲಸದ ಪದಬಳಕೆಯಲ್ಲೇ ಕಂಡರು.

ಹಂಚಿಕೊಂಡ ಪ್ರಕರಣಗಳ ಸುತ್ತನ್ನು ನಡೆಸಿ, ವಿಮರ್ಶಕರು ಎಲ್ಲಿ ವಿಭಜಿತರಾಗಿದ್ದಾರೆ ಎಂದು ಕಂಡುಹಿಡಿದು, ಅವರನ್ನು ವಿಭಜಿಸಿದ ಸೂಚನೆಯನ್ನು ಮರುಬರೆಯಿರಿ.

ಮೂರು ವಿಮರ್ಶಕರಿಗೆ ಒಂದೇ ಪ್ರಕರಣಗಳನ್ನು ನೀಡಿ, ಅವರು ಎಲ್ಲಿ ವಿಭಜಿತರಾಗಿದ್ದಾರೆ ಎಂದು ಹೋಲಿಸಿ.
ಜನರು ಅಸಮ್ಮತಿಯಾಗಿದ್ದರೆ, ವಿಮರ್ಶಕರನ್ನು ತಪ್ಪು ಹೇಳುವುದಕ್ಕಿಂತ ಮುಂಚೆ ಸೂಚನೆಯನ್ನು ಬದಲಾಯಿಸಿ.
ಸುತ್ತಿನ ಫಲಿತಾಂಶವನ್ನು ಭಾಗವಹಿಸಿದ ಎಲ್ಲರಿಗೂ ಪ್ರಕಟಿಸಿ, ನಿಮ್ಮ ತಪ್ಪುಗಳ ಸಹಿತ.

Task

ಐದು ಸುರಕ್ಷತಾ ಪ್ರಕರಣಗಳು ಮೂರು ವಿಮರ್ಶಕರಿಗೆ ಹಂಚಲಾಯಿತು. ನಾಲ್ಕು ಒಪ್ಪಿಕೊಂಡರು. ಐದನೇ ಪ್ರಕರಣದಲ್ಲಿ ಇಬ್ಬರು ಸಂದೇಶವನ್ನು ಬೆದರಿಕೆ ಎಂದು ಕರೆಸಿದರು ಮತ್ತು ಒಬ್ಬರು ಹಾಸ್ಯ ಎಂದು ಹೇಳಿದರು.

Weak approach ಎರಡೂ ಒಪ್ಪಿಕೊಂಡವರ ಜೊತೆಗೆ ಹೋಗಿ ಮೂರನೇಯವರಿಗೆ ಒಪ್ಪುವವರೆಗೆ ಮತ್ತೆ ನೋಡಲು ಕೇಳುತ್ತಾನೆ. ಈ ಸುತ್ತಿನಲ್ಲಿ ಒಂದು ನಿರ್ಣಯ ಬಂದಿತು, ಮತ್ತು ಅವರನ್ನು ವಿಭಜಿಸಿದ ವಾಕ್ಯ ಮಾರ್ಗಸೂಚಿಯಲ್ಲಿ ಬದಲಾಯಿಸಿಲ್ಲ.

Stronger approach ಎರಡು ಅರ್ಥಗಳನ್ನು ಬರೆಯುತ್ತದೆ ಮತ್ತು ನಿಯಮವು ಬೆದರಿಕೆ ಎಂದರೆ ಏನು ಎಂದು ಹೇಳುವುದಿಲ್ಲವೆಂದು ತೋರಿಸುತ್ತದೆ. ಆ ವಾಕ್ಯವನ್ನು ಮರುಬರೆಯುತ್ತದೆ ಮತ್ತು ಫಲಿತಾಂಶವನ್ನು ಮೂವರಿಗೂ ಕಳುಹಿಸುತ್ತದೆ.

Why the stronger approach works ವಿಭಜನೆವೇ ನಿಜವಾದ ಕಂಡುಹಿಡಿತವಾಗಿತ್ತು, ಮತ್ತು ಬಲವಾದ ಮಾರ್ಗ ಅದನ್ನು ಆಧರಿಸಿದೆ. ಮತದಾನ ಅದನ್ನು ಮರೆಮಾಚುತ್ತದೆ, ಮತ್ತು ಮುಂದಿನ ವಾರ ಅದೇ ವಾದ ಮತ್ತೆ ಬರುತ್ತದೆ.

Try a changed situation ನಿಮ್ಮ ಬೀದಿಯ ಎರಡು ಅಂಗಡಿದಾರರು ಒಂದೇ ಮಹಾನಗರ ನೋಟಿಸ್ ಅನ್ನು ವಿಭಿನ್ನ ರೀತಿಯಲ್ಲಿ ಓದುತ್ತಿದ್ದಾರೆ. ಯಾವ ನಿಯಮ ಇನ್ನೂ ಅನ್ವಯಿಸುತ್ತದೆ?

Make something yourself ಇನ್ನಿಬ್ಬರೊಂದಿಗೆ ಐದು ಹಂಚಿಕೊಂಡ ಪ್ರಕರಣಗಳ ಸುತ್ತನ್ನು ನಡೆಸಿ. ಯಾರು ಏನು ನಿರ್ಧರಿಸಿದರು, ಅವರು ಯಾವ ಪ್ರಕರಣದಲ್ಲಿ ವಿಭಜಿತರಾಗಿದ್ದರು, ಮತ್ತು ನೀವು ಮರುಬರೆಯಿಸಿದ ಸೂಚನೆಯ ವಾಕ್ಯವನ್ನು ದಾಖಲಿಸಿ.

Read the primary or official source: Ganguli et al., Red Teaming Language Models to Reduce Harms (arXiv)