quest-eval-build-a-check-set v1
Build a check set others can run
ऐसी जाँच-सूची बनाएँ जो दूसरे चला सकें
One test item: the smallest input that fails, the expected output, the seen output, and the reason.
एक जाँच: सबसे छोटा सवाल जो फेल होता है, अपेक्षित उत्तर, मिला हुआ उत्तर, और वजह।
- Published
- 2026-09-13
- Scored
- 0 to 5 on each of three criteria
How to read the scale
Each rule below is scored from 0 to 5. Three points carry a written line: 0, 3 and 5. Work that sits between two of them takes the point in between.
A reviewer records one of three marks. This is the whole mapping:
- Not met — 0 or 1
- Partly — 2 or 3
- Met — 4 or 5
हर नियम 0 से 5 तक आँका जाता है। 0, 3 और 5 के लिए लिखी हुई पंक्ति है। बीच का काम बीच का अंक लेता है। जाँचने वाला तीन में से एक निशान दर्ज करता है: 0-1 का अर्थ नहीं, 2-3 का अर्थ कुछ हद तक, और 4-5 का अर्थ पूरा।
Where these rules come from
Every rule below is a line out of this quest’s own lessons — either the work sample’s instruction or a thing one of its lessons teaches. Nothing was written for this page. You are never judged against a rule the lesson did not give you.
नीचे हर नियम इसी पड़ाव के पाठों की अपनी पंक्ति है — या तो काम के नमूने का निर्देश, या किसी पाठ की सिखाई हुई बात। इस पन्ने के लिए कुछ नया नहीं लिखा गया।
What is weaker here than it should be. The 0, 3 and 5 lines on this rubric are a general frame, not a sentence written for each rule. They will be written properly for any rule that two reviewers turn out to apply differently.
Rule 1
Shrink the input until one line still fails, and say how you know your expected output is right.
सवाल को तब तक छोटा करें जब तक एक पंक्ति भी फेल होती रहे, और बताएँ कि अपेक्षित उत्तर सही होने का पता आपको कैसे चला।
This is the work sample's own instruction, from the lesson eval-write-a-failing-test-case.
Score 0. None of the parts named in this rule are in the sample.
इस नियम में बताए गए हिस्सों में से कोई भी नमूने में नहीं है।
Score 3. Some of the parts are there. At least one named part is missing.
कुछ हिस्से मौजूद हैं। बताए गए हिस्सों में से कम से कम एक नहीं है।
Score 5. Every part named in this rule is in the sample, and each one is filled in.
इस नियम में बताया गया हर हिस्सा नमूने में है, और हर एक भरा हुआ है।
Rule 2
A test item needs the exact input, the output you expect, and the output you actually saw.
जाँच में तीन चीज़ें चाहिए: हूबहू सवाल, जो उत्तर आप चाहते हैं, और जो उत्तर सचमुच मिला।
This is a line the lesson eval-write-a-failing-test-case teaches.
Score 0. The sample does not do this anywhere a reader can point to.
नमूने में ऐसी कोई जगह नहीं जहाँ पाठक दिखा सके कि यह हुआ है।
Score 3. The sample does this in one place. Elsewhere it does not.
नमूना एक जगह यह करता है। बाकी जगह नहीं करता।
Score 5. The sample does this everywhere the rule applies, and a reader can point at each place.
जहाँ-जहाँ यह नियम लगता है, नमूना हर जगह यह करता है, और पाठक हर जगह दिखा सकता है।
Rule 3
Say why your expected output is right, or the next person argues with the item instead of the model.
लिखें कि आपका अपेक्षित उत्तर सही क्यों है, वरना अगला व्यक्ति मॉडल के बजाय आपकी जाँच से बहस करेगा।
This is a line the lesson eval-write-a-failing-test-case teaches.
Score 0. The sample does not do this anywhere a reader can point to.
नमूने में ऐसी कोई जगह नहीं जहाँ पाठक दिखा सके कि यह हुआ है।
Score 3. The sample does this in one place. Elsewhere it does not.
नमूना एक जगह यह करता है। बाकी जगह नहीं करता।
Score 5. The sample does this everywhere the rule applies, and a reader can point at each place.
जहाँ-जहाँ यह नियम लगता है, नमूना हर जगह यह करता है, और पाठक हर जगह दिखा सकता है।
No worked example is published for this rubric yet.
इन नियमों के लिए अभी कोई बना हुआ उदाहरण प्रकाशित नहीं है।