ದಾವೆಗಳು ಮತ್ತು ಉಲ್ಲೇಖಗಳನ್ನು ಪರಿಶೀಲಿಸಿ

What this lesson is about

ಉತ್ತರವನ್ನು ಪರಿಶೀಲಿಸಬಹುದಾದ ದಾವೆಗಳಾಗಿ ವಿಭಜಿಸಿ. ಮೊದಲನೆಯ ಕೈಯ ಸಾಕ್ಷ್ಯವನ್ನು ಆದ್ಯತೆ ನೀಡಿ. ಇನ್ನೂ ಸ್ಪಷ್ಟವಿಲ್ಲದ ವಿಷಯಗಳನ್ನು ಸರಳವಾಗಿ ಹೇಳಿ.

ಒಂದು ಉತ್ತರದಲ್ಲಿ ವಿದ್ಯಾರ್ಥಿವೇತನ ತೆರೆಯಲಾಗಿದೆ ಎಂದು ಹೇಳಿ, ಒಂದು ಅಂಕಿಯನ್ನು ಉಲ್ಲೇಖಿಸಿ, ದಿನಾಂಕವಿಲ್ಲದ ಬ್ಲಾಗ್ ಅನ್ನು ಸಾಕ್ಷ್ಯವಾಗಿ ನೀಡಲಾಗಿದೆ. ನೀವು ಏನು ಮಾಡುತ್ತೀರಿ?

Why this matters

ಸರಿಯಾದಂತೆ ಕಾಣುವ ಲಿಂಕ್ ಹಳೆಯದಾಗಿರಬಹುದು. ಅದು ಹೇಳಿದ ನಿಖರ ಸಂಖ್ಯೆಯನ್ನು ಬೆಂಬಲಿಸದಿರಬಹುದು.

ಒಂದು ಉತ್ತರವನ್ನು ದಾವೆಗಳಾಗಿ ವಿಭಜಿಸಿ. ಪ್ರತಿ ದಾವೆಯನ್ನು ಪ್ರಸ್ತುತ, ಮೊದಲನೆಯ ಕೈಯ ಸಾಕ್ಷ್ಯಕ್ಕೆ ಹೊಂದಿಸಿ.

ಸ್ಥಿತಿ, ಸಂಖ್ಯೆ ಮತ್ತು ದಿನಾಂಕವನ್ನು ಒಂದೊಂದಾಗಿ ಪರಿಶೀಲಿಸಿ.
ಜವಾಬ್ದಾರಿಯಲ್ಲಿರುವ ಕಚೇರಿಯಿಂದ ಪ್ರಸ್ತುತ ಮೂಲವನ್ನು ಪ್ರಾಧಾನ್ಯ ನೀಡಿ.
ನೀವು ದೃಢಪಡಿಸದ ವಿಷಯವನ್ನು ಹೇಳಿ.

Task

ಒಂದು ಉತ್ತರವು ಪ್ರಸ್ತುತ ಸಂಖ್ಯೆಗೆ ದಿನಾಂಕವಿಲ್ಲದ ಬ್ಲಾಗ್ ಅನ್ನು ಮೂಲವಾಗಿ ನೀಡುತ್ತದೆ.

Weak approach ಲಿಂಕ್ ತೆರೆಯುತ್ತಾನೆ, ಸಂಪೂರ್ಣ ಪುಟವನ್ನು ಓದುತ್ತಾನೆ, ಮತ್ತು ಅಲ್ಲಿ ಅದೇ ಹತ್ತು ಲಕ್ಷ ಸಂಖ್ಯೆಯನ್ನು ಕಂಡುಹಿಡಿಯುತ್ತಾನೆ. ದಾವೆಗೆ ಮೂಲವಿದೆ ಎಂದು ಗುರುತಿಸಿ ಮುಂದುವರಿಯುತ್ತಾನೆ. ಪುಟದಲ್ಲಿ ದಿನಾಂಕವಿಲ್ಲ ಮತ್ತು ಯಾವುದೇ ಕಚೇರಿಯ ಹೆಸರು ಇಲ್ಲ, ಆದ್ದರಿಂದ ಯಾರೂ ಈ ಸಂಖ್ಯೆಯು ಈ ವರ್ಷದದೆಯೇ ಎಂದು ಹೇಳಲು ಸಾಧ್ಯವಿಲ್ಲ.

Stronger approach ಸ್ಥಿತಿ ಮತ್ತು ಸಂಖ್ಯೆಯನ್ನು ದಿನಾಂಕವಿರುವ ಮೊದಲನೆಯ ಕೈಯ ಮೂಲಗಳೊಂದಿಗೆ ಪ್ರತ್ಯೇಕವಾಗಿ ಪರಿಶೀಲಿಸಿ. ಬೆಂಬಲವಿಲ್ಲದ ಯಾವುದೇ ದಾವೆಯನ್ನು ‘ದೃಢಪಡಿಸಲಾಗಿಲ್ಲ’ ಎಂದು ಗುರುತಿಸಿ.

Why the stronger approach works ಎರಡೂ ವಿಮರ್ಶಕರು ಮೂಲವನ್ನು ತೆರೆಯುತ್ತಾ ಓದಿದರು. ಆದರೆ ಎಣಿಕೆಯೊಂದಿಗೆ ಬರುತ್ತಿರುವ ಎರಡು ಪ್ರಶ್ನೆಗಳನ್ನು — ಯಾರು ಎಣಿಸಿದರು ಮತ್ತು ಯಾವಾಗ — ಕೇವಲ ಒಬ್ಬನೇ ಕೇಳಿದರು.

Try a changed situation ಒಂದು ನೆರೆಹೊರೆಯವರು ಕೇಳುತ್ತಾರೆ, ರೇಷನ್ ಕಾರ್ಡ್ ನಿಯಮ ಬದಲಾಗಿದೆ ಎಂದು, ಮತ್ತು ಮೂರು ಸುದ್ದಿವೀಡಿಯೋಗಳು ವಿಭಿನ್ನ ವಿಷಯಗಳನ್ನು ಹೇಳುತ್ತವೆ. ನೀವು ಎಲ್ಲಿಗೆ ನೋಡುತ್ತೀರಿ?

Make something yourself ಮೂರು ದಾವೆಗಳ ಪಟ್ಟಿಯನ್ನು ರಚಿಸಿ. ಮೂಲ, ದಿನಾಂಕ, ನಿಮ್ಮ ನಿರ್ಣಯ ಮತ್ತು ಸ್ಪಷ್ಟವಿಲ್ಲದ ವಿಷಯಗಳನ್ನು ನೀಡಿ.

Read the primary or official source: Min et al., FActScore: fine-grained atomic evaluation of factual precision (arXiv)