All learning paths Learn See Try Make ಹೆಲ್ಡ್-ಔಟ್ ಸೆಟ್ ಅನ್ನು ಹೆಲ್ಡ್-ಔಟ್ ಆಗಿಯೇ ಇಡಿ What this lesson is about ಟೆಸ್ಟ್ ಫಲಿತಾಂಶವನ್ನು ವ್ಯವಸ್ಥೆಯನ್ನು ಸರಿಪಡಿಸಲು ಈಗಾಗಲೇ ಬಳಸಲಾಗಿದೆ ಎಂದು ಗುರುತಿಸಿ. ನಂತರ ಹೆಲ್ಡ್-ಔಟ್ ಸೆಟ್ ಅನ್ನು ನಿಷ್ಠುರವಾಗಿ ಮರುನಿರ್ಮಿಸಿ.
ನಿಮ್ಮ ತಂಡ ಐವತ್ತು ಪ್ರಶ್ನೆಗಳನ್ನು ಬೇರೆಡೆ ಇಟ್ಟಿತ್ತು. ಅದು ತಪ್ಪು ಮಾಡಿದ ಹನ್ನೆರಡು ಪ್ರಶ್ನೆಗಳನ್ನು ನೀವು ಓದಿ ಸೂಚನೆಗಳನ್ನು ಬದಲಾಯಿಸಿದ್ದೀರಿ. ನೀವು ಯಾವ ಅಂಕಗಳನ್ನು ವರದಿ ಮಾಡುತ್ತೀರಿ?
A ಎಲ್ಲಾ ಐವತ್ತು ಪ್ರಶ್ನೆಗಳ ಅಂಕಗಳನ್ನು ವರದಿ ಮಾಡಿ, ಏಕೆಂದರೆ ಯಾವುದೇ ಪ್ರಶ್ನೆಯನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸಲಿಲ್ಲ. B ವ್ಯವಸ್ಥೆಯನ್ನು ಸರಿಪಡಿಸಲು ಬಳಸಿದ ಐಟಂ ಅದಕ್ಕೆ ಸಂಬಂಧಿಸಿದ ಸಾಕ್ಷ್ಯವಾಗಿರುವುದನ್ನು ನಿಲ್ಲಿಸುತ್ತದೆ. C ಎಲ್ಲಾ ಐವತ್ತು ಪ್ರಶ್ನೆಗಳ ಅಂಕಗಳನ್ನು ವರದಿ ಮಾಡಿ ಮತ್ತು ಹನ್ನೆರಡು ಪ್ರಶ್ನೆಗಳು ತಿದ್ದುಪಡಿ ಕೆಲಸಕ್ಕೆ ಬಳಸಲ್ಪಟ್ಟಿವೆ ಎಂದು ಒಂದು ಸಾಲು ಸೇರಿಸಿ.
Check my recall Why this matters ಹೆಲ್ಡ್-ಔಟ್ ಸೆಟ್ — ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ಮಿಸಲು ಬಳಸದ ಪ್ರಶ್ನೆಗಳು — ತ್ವರಿತವಾಗಿ ಖರ್ಚಾಗುತ್ತವೆ. ಯಾರಾದರೂ ಅದರ ವೈಫಲ್ಯಗಳನ್ನು ಓದಿ ವ್ಯವಸ್ಥೆಯನ್ನು ಸಂಪಾದಿಸುವ ಮೊದಲ ಬಾರಿಗೆ ಅದು ಖರ್ಚಾಗುತ್ತದೆ.
ಯಾವ ಮೌಲ್ಯಮಾಪನ ಐಟಂಗಳು ಇನ್ನೂ ಸಾಕ್ಷ್ಯವನ್ನು ಹೊತ್ತಿವೆ ಎಂದು ಹೇಳಿ, ಮತ್ತು ಸರಿಪಡಿಸಲು ಬಳಸಿದ ನಂತರ ಸೆಟ್ ಅನ್ನು ಮರುನಿರ್ಮಿಸಿ.
ಹೆಲ್ಡ್-ಔಟ್ ಸೆಟ್ — ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ಮಿಸಲು ಬಳಸದ ಪ್ರಶ್ನೆಗಳು — ತ್ವರಿತವಾಗಿ ಖರ್ಚಾಗುತ್ತವೆ. ಯಾರಾದರೂ ಅದರ ವೈಫಲ್ಯಗಳನ್ನು ಓದಿ ವ್ಯವಸ್ಥೆಯನ್ನು ಸಂಪಾದಿಸುವ ಮೊದಲ ಬಾರಿಗೆ ಅದು ಖರ್ಚಾಗುತ್ತದೆ.
ವ್ಯವಸ್ಥೆಯನ್ನು ಸರಿಪಡಿಸಲು ಬಳಸಿದ ಐಟಂ ಅದಕ್ಕೆ ಸಂಬಂಧಿಸಿದ ಸಾಕ್ಷ್ಯವಾಗಿರುವುದನ್ನು ನಿಲ್ಲಿಸುತ್ತದೆ. ಪ್ರತಿ ಐಟಂ ಯಾವ ಕೆಲಸಕ್ಕೆ ಮತ್ತು ಯಾವಾಗ ಬಳಸಲಾಗಿದೆ ಎಂದು ದಾಖಲಿಸಿ. ಮುಂದಿನ ಸುತ್ತಿಗೆ ಮೊದಲು ಹೆಲ್ಡ್-ಔಟ್ ಸೆಟ್ ಅನ್ನು ಮರುಪೂರಣೆ ಮಾಡಿ; ಅದನ್ನು ಮರುಬಳಕೆ ಮಾಡಬೇಡಿ. Task ಐವತ್ತು ಹೆಲ್ಡ್-ಔಟ್ ಪ್ರಶ್ನೆಗಳು. ಹನ್ನೆರಡು ವೈಫಲ್ಯಗಳನ್ನು ಓದಿ ಸೂಚನೆಗಳನ್ನು ಬದಲಾಯಿಸಲಾಯಿತು.
Weak approach ಐವತ್ತು ಪ್ರಶ್ನೆಗಳಲ್ಲೊಂದು ಕೂಡ ಸಂಪಾದಿಸಲ್ಪಟ್ಟಿಲ್ಲ ಎಂದು ಪರಿಶೀಲಿಸುತ್ತದೆ, ಮತ್ತು ಯಾವುದೂ ಸಂಪಾದಿಸಲ್ಪಟ್ಟಿಲ್ಲ. ಐವತ್ತು ಪ್ರಶ್ನೆಗಳಲ್ಲಿನ ಅಂಕಗಳನ್ನು ವರದಿ ಮಾಡುತ್ತದೆ ಮತ್ತು ಆ ಗುಂಪನ್ನು ಇನ್ನೂ ಬೇರ್ಪಡಿಸಿದಂತೆ ಕರೆಯುತ್ತದೆ. ಸೂಚನೆಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತಿದ್ದಾಗ ಹನ್ನೆರಡು ಪ್ರಶ್ನೆಗಳು ಓದಲಾಗಿದ್ದವು, ಆದ್ದರಿಂದ ಆ ಹನ್ನೆರಡು ಈಗ ಆ ಸರಿಪಡಿಕೆಯನ್ನು ಅಳೆಯುತ್ತಿವೆ.
Stronger approach ಸ್ಪರ್ಶಿಸದ ಉಳಿದ ಮೂರು ಎಂಟು ಐಟಂಗಳನ್ನು ಹೆಲ್ಡ್-ಔಟ್ ಅಂಕಗಳಾಗಿ ವರದಿ ಮಾಡುತ್ತದೆ. ಹನ್ನೆರಡುಗಳನ್ನು ನಿರ್ಮಾಣ ಐಟಂಗಳಾಗಿ ಗುರುತಿಸಿ, ಹೊಸ ಐಟಂಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ.
Why the stronger approach works ನಿಷ್ಠುರ ಸಂಖ್ಯೆ ಚಿಕ್ಕದು ಮತ್ತು ಅರ್ಥವಿದೆ. ದೊಡ್ಡದು ತಂಡದ ಸ್ವಂತ ಸರಿಪಡಿಸುವಿಕೆಯನ್ನು ಅಳೆಯುತ್ತದೆ.
Try a changed situation ಒಂದು ಶಾಲೆ ಈಗ ಮಾದರಿಯನ್ನು ಅಲ್ಲ, ಹೊಸ ಬೋಧನಾ ವಿಧಾನವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತಿದೆ. ಯಾವ ನಿಯಮ ಇನ್ನೂ ಅನ್ವಯಿಸುತ್ತದೆ?
Make something yourself ನೀವು ಮರುಬಳಕೆ ಮಾಡುವ ಯಾವುದೇ ಪರಿಶೀಲನೆಯನ್ನು ತೆಗೆದುಕೊಳ್ಳಿ, ಉದಾಹರಣೆಗೆ ಮಾದರಿ ಪರೀಕ್ಷೆ ಅಥವಾ ಮಾಸಿಕ ವರದಿ ಪರಿಶೀಲನೆ. ನೀವು ಈಗಾಗಲೇ ಸರಿಪಡಿಸಲು ಬಳಸಿದ ಐಟಂಗಳನ್ನು ಬರೆಯಿರಿ. ನಂತರ ನೀವು ಸ್ವಚ್ಛವಾದ ಸೆಟ್ ಅನ್ನು ಹೇಗೆ ಸಂಗ್ರಹಿಸುವಿರಿ ಎಂದು ಬರೆಯಿರಿ.
Read the primary or official source: Jain et al., LiveCodeBench: contamination-free evaluation for code (arXiv)