उत्पन्नं कोडं परीक्ष्य पुनरावलोकय

What this lesson is about

आवश्यकतानां च स्वस्य परीक्षाणां च उपयोगेन प्रथमं दोषं अन्विष्यत। मिथ्या परिणामः, विचित्रं इनपुट्, वा सुरक्षा समस्या।

यः फलनं महत्तमसंख्यां अन्वेष्टुम् आरभते शून्येण गणनां, च लेखनशैली च सुसज्जिता अस्ति। किं परीक्ष्यते?

Why this matters

उत्पन्नः कोडः सुबोधं दृश्यते अपि तु विचित्रान् इनपुट्, अवस्थापरिवर्तनं, वा सुरक्षा सीमाः च विस्मर्तुं शक्नोति।

कोडस्य आवश्यकता परीक्षणे परिवर्तयतु यः प्रथमं वास्तविकं दोषं प्रकाशयति।

यत् अपेक्षितं तद् परीक्षस्व, कोड् कथं लिखितः तद् न।
सीमां, रिक्तान् इनपुट् च विफलताया मार्गान् समावेश्यत।
सर्वं पुनर्लेखने पूर्वं मूलकारणं सम्यक् कुरु।

Task

शून्ये आरभ्य महत्तमसंख्यां अन्विष्यन्तं कार्यं पुनरावलोकय।

Weak approach चत्वारि परीक्षाः लिखति च सञ्चालयति: त्रयः सकारात्मकाः सूचीः च एकः मिश्रितः, सर्वे सफलाः। कोडं समीक्ष्य सः तं सुव्यवस्थितं इति वदति। कश्चन परीक्षा पूर्णं नकारात्मकं सूचीं वा रिक्तां न धारयति, अतः आरम्भशून्यं न प्राप्तम्।

Stronger approach सर्वे ऋणात्मकाः परीक्षणानि कुर्वन्तु। शून्यं प्रत्यावर्तते न महत्तमं। प्रथमं तत्त्वात् आरभ्यतु वा रिक्तं इनपुट् विशेषतया गृह्णीत।

Why the stronger approach works उभयोः परीक्षकयोः परीक्षणं जातम्, एकः च चत्वारि वारं परीक्षणं कृतवान्। याः परीक्षाः सफलाः ताः ताः याः कोडेन पूर्वमेव लिखिताः।

Try a changed situation त्वं न कार्यक्रमस्य, किन्तु विक्रयस्य बिलपत्रस्य सूत्रं परीक्षसे। तस्मिन् किं परीक्ष्यसे?

Make something yourself एकं दोषयुक्तं परीक्षणं, वास्तविककारणस्य टिप्पणी च लघुतमं सुधारं लिखतु।

Read the primary or official source: Chen et al., Evaluating Large Language Models Trained on Code (arXiv)