सीखने के सभी रास्ते समझें देखें करें बनाएँ गलत उत्तर को जाँच में बदलें यह पाठ किस बारे में है एक गलत उत्तर लें और वह जाँच लिखें जो आज फेल होती है और सुधार के बाद पास होगी।
आपको दिखता है कि हेल्पलाइन गोरखपुर का किराया गलत बता रही है। मंडली कहती है कि इसे ठीक से दर्ज करो।
A क्या गड़बड़ हुई यह अपने शब्दों में लिख दें, और स्क्रीन की एक तस्वीर साथ लगा दें। B जाँच में तीन चीज़ें चाहिए: हूबहू सवाल, जो उत्तर आप चाहते हैं, और जो उत्तर सचमुच मिला। C पूरी बातचीत काम देने वाले को भेज दें और कहें कि उसमें किराए वाला सवाल देख लें।
याद जाँचें यह काम क्यों ज़रूरी है कोड की एक प्रकाशित जाँच-सूची इसी तरह बनी है। हर सवाल के साथ ऐसी जाँच होती है जो सुधार से पहले फेल होती है और सुधार के बाद पास, इसलिए सुधार साबित होता है, सिर्फ़ कहा नहीं जाता। शिकायत न साबित होती है न ठीक की जा सकती है। जाँच किसी को भी थमाई जा सकती है।
किसी एक गलत उत्तर को ऐसी जाँच में बदलें जिसे दूसरा व्यक्ति चलाकर वही गड़बड़ी पा सके।
कोड की एक प्रकाशित जाँच-सूची इसी तरह बनी है। हर सवाल के साथ ऐसी जाँच होती है जो सुधार से पहले फेल होती है और सुधार के बाद पास, इसलिए सुधार साबित होता है, सिर्फ़ कहा नहीं जाता। शिकायत न साबित होती है न ठीक की जा सकती है। जाँच किसी को भी थमाई जा सकती है।
जाँच में तीन चीज़ें चाहिए: हूबहू सवाल, जो उत्तर आप चाहते हैं, और जो उत्तर सचमुच मिला। सवाल को तब तक छोटा करें जब तक सबसे छोटा रूप बचे जो अब भी फेल होता है। लिखें कि आपका अपेक्षित उत्तर सही क्यों है, वरना अगला व्यक्ति मॉडल के बजाय आपकी जाँच से बहस करेगा। काम दुकान के सहायक ने 12.3499 लौटाया, जबकि बिल में पैसे तक की रकम चाहिए। इसे एक जाँच में बदलें।
कमज़ोर तरीका एक नोट भेजता है कि सहायक पैसों में कच्चा है और पैसे गलत निकालता है। साथ में बातचीत की तस्वीर लगाकर सुधार की माँग कर देता है।
बेहतर तरीका हूबहू सवाल देता है, अपेक्षित 12.35, मिला हुआ 12.3499, और नियम कि बिल में दो अंक तक रकम आती है। सवाल को एक पंक्ति तक छोटा कर देता है, जो अब भी फेल होती है।
बेहतर तरीका क्यों काम करता है दोनों वही गड़बड़ी बताते हैं। सिर्फ़ मज़बूत जवाब को वह व्यक्ति भी चला सकता है जिसने वह बातचीत देखी ही नहीं।
बदली हुई स्थिति आज़माएँ आपकी जाँच चार पन्नों के सवाल पर फेल होती है। साथी कहता है कि पता ही नहीं चलता कि कौन-सा हिस्सा गड़बड़ करता है।
अब खुद बनाकर देखें इस हफ़्ते मिले किसी एक गलत उत्तर को लें। उसे जाँच की तरह लिखें: सवाल, अपेक्षित उत्तर, मिला हुआ उत्तर, और वजह।
कोड और तर्क की जाँच: 8 में से पाठ 8 आगे उदाहरण और निर्देशित फाइन-ट्यूनिंग (SFT) भाग 2 के आख़िर में आपके काम का नमूना बनता है, जिसे आप भेज सकते हैं जिन नियमों से यह काम का नमूना पढ़ा जाता है
मूल या आधिकारिक स्रोत पढ़ें: Jimenez et al., SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (arXiv)