दोषयुक्तं उत्तरं परीक्षायाः रूपेण परिवर्तयतु

What this lesson is about

एकं दोषयुक्तं उत्तरं गृह्य तद् यत् अद्य विफलति च मरम्मत्यानन्तरं सफलं भविष्यति तद् परीक्षायाः वस्तु लिखतु।

त्वं पश्यसि हेल्पलाइन गोरखपुरस्य भाडं मिथ्या ददाति। तव मण्डलीं तं सम्यक् प्रकारेण अभिलेखं कर्तुम् आह्वयति।

Why this matters

प्रकाशितः कोड् परीक्षणसूची एतद् प्रकारेण निर्मितः। प्रत्येकं वस्तु परीक्षणं वहति यत् मरम्मतेः पूर्वं विफलति च मरम्मतेः अनन्तरं सफलं भवति। अतः मरम्मत् प्रमाणिता न केवलं उक्ता। अपि च, आपत्तिः न प्रमाणिता न च सम्यक् कर्तुं शक्यते। परीक्षणं कस्यापि दातुं शक्यते।

एकं दोषयुक्तं उत्तरं परीक्षायाः वस्तु रूपेण परिवर्तयतु यत् अन्यः कश्चित् सञ्चालयित्वा तमेव दोषं प्राप्नोति।

परीक्षणवस्तु आवश्यकं यत् यथार्थं प्रवेशं, अपेक्षितं निर्गमं, च यथार्थं दृष्टं निर्गमं।
प्रवेशं यावत् लघुतमं यत् अपि विफलति तावत् छिन्दतु।
यतः तव अपेक्षितं निर्गमं सम्यक् अस्ति तद् कारणं वद, न तर्हि अनन्तरं कश्चित् वस्तुनि न तु प्रतिमात्रे विवादं करिष्यति।

Task

एकः विक्रयकः 12.3499 प्रत्यागतवान् यत्र बिल् पयसेषु सङ्ख्यां वहति। तं परीक्षणवस्तु रूपेण कुरु।

Weak approach एकं टिप्पणी दत्तवान् यत् सहायकः वित्ते दुर्बलः अस्ति च पयसेषु दोषं करोति। संवादस्य छायाचित्रं संलग्न्य मरम्मतिं याचितवान्।

Stronger approach यथार्थं याचना प्रदत्तवती, अपेक्षितं 12.35, दृष्टं 12.3499, च नियमः यत् बिल् द्वौ अङ्कौ वहति। याचना एकपङ्क्त्या यावत् छिन्दिता या अपि विफलति।

Why the stronger approach works उभे अपि तमेव दोषं सूचयन्ति। केवलं दृढः परीक्षणं तं कश्चन सञ्चालयितुं शक्नोति यस्य संवादं नापि दृष्टवान्।

Try a changed situation तव परीक्षणवस्तु चत्वारि पृष्ठानि प्रवेशे विफलति। सहकर्मी वदति यत् न ज्ञायते कः अंशः तं दोषं जनयति।

Make something yourself अस्मिन्सप्ताहे प्राप्तं एकं दोषयुक्तं उत्तरं गृह्य। तं परीक्षणवस्तु रूपेण लिखतु: प्रवेशं, अपेक्षितं निर्गमं, दृष्टं निर्गमं, कारणञ्च।

Read the primary or official source: Jimenez et al., SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (arXiv)