मुक्तयन्त्रे लघुं मॉडलम् सञ्चालय

What this lesson is about

मुक्तपुस्तिकायां लघुं मॉडलम् आवह, तस्मै दश इनपुट् प्रेषय, यत् प्रत्यागतं तद् रक्षितुम्।

हिन्दीभाषायां दश ग्राहकसंदेशाः प्रतीक्षन्ते च एकः मुक्तः यन्त्रः एकघण्टपर्यन्तं उद्घाटितः अस्ति। तेषां सह किं कुर्याः?

Why this matters

एकैकपंक्तिरेखया मॉडलस्य नाम निर्दिश्य तं सञ्चालयितुं व्यवस्थितं करोति, अन्या पंक्तिः तव पाठं प्रेषयति। मुक्तयन्त्रे प्रथमं सीमां स्मृतिः ददाति, धैर्यं न। मुक्ते Colab पत्रिकायां T4 कार्डः १६ GB स्मृत्या अस्ति, १४ सप्टेम्बर् २०२६ तमे पठितम्। Colab उक्तवान् यत् कार्डस्य गारंटी नास्ति च सत्रं अधिकतमं १२ घण्टानि समाप्तं भवति। Llama 3.2 1B पूर्णविस्तारे २,३५८ MB अपेक्षते, अतः यथावत् समायाति। यः मॉडलः न समायते सः क्वांटाइज् क्रियते — लघूनां सङ्ख्यानां रूपेण सञ्चितः। Transformers ग्रन्थेषु उक्तम् यत् ८-बिट् सञ्चयः स्मृतिं अर्धं करोति, ४-बिट् तु चतुर्थांशं। Meta कार्डे तेनैव 1B मॉडलस्य ४-बिट् QLoRA रूपं १,१२७ MB इति दर्शितम्। ग्रन्थेषु सत्यं व्ययः — लघूनि सङ्ख्यानि यथाशक्ति यथासम्भवं यथार्थतां रक्षन्ते, न सर्वाम्। अतः क्वांटाइज् कृत्वा पुनः मापनं कुर्वीत।

त्वं मुक्तयन्त्रे लघुं मॉडलम् आवहित्वा दश इनपुट् सञ्चालयितुं च प्रत्यागतं रक्षितुं शक्नोषि।

लघुं मॉडलम् आवह, तस्मै इनपुट् प्रेषय, च यत्र पठितुं शक्यते तत्र निर्गमाः रक्ष।
कालात् पूर्वं स्मृतिः क्षीयते; सामान्यः उपायः लघुं मॉडलम् एव।
निर्गमेषु मॉडलस्य पूर्णं नाम च संस्करणं रक्ष, न चेत् पुनरावृत्तिः न स्यात्।

Task

मुक्तयन्त्रे लघुं मुक्तं मॉडलम् आवहित्वा दश हिन्दी ग्राहकसंदेशान् सञ्चालय।

Weak approach सर्वे दश संदेशाः सञ्चालयित्वा, पटलस्य उत्तराणि पठित्वा तानि यथार्थानि इति मन्यन्ते। एकस्मिन्मणे समाप्ते तस्य पटलस्य समापनं क्रियते न च सञ्चालनस्य किञ्चन अवशिष्टम्।

Stronger approach मुक्ते Colab T4 मध्ये Llama 3.2 1B Instruct पूर्णविस्तारे लोड् कृत्वा, यतः २,३५८ MB १६ GB मध्ये समायते। दश संदेशान् सर्वान् प्रेष्य प्रत्येकस्य प्रत्युत्तरं तस्य संदेशस्य पार्श्वे पत्रिकायाम् स्थापयन्। पत्रिकायाः शीर्षपंक्तौ मॉडलस्य पूर्णं नाम, लोड् कृतस्य विस्तरः, च सञ्चालयितस्य दिनाङ्कः लिखितः।

Why the stronger approach works यत् सञ्चालितं परं न रक्षितं तद् श्वः सञ्चालनस्य समीपे न स्थापयितुं शक्यते। तस्य तुलनायै एव तं सञ्चालयसि।

Try a changed situation कस्यचित् ग्राहकाय दीर्घं चलच्चित्रं सम्पादयन् तव दूरवाणी स्थगितं भवति च अनुप्रयोगः अनिर्दिष्टेन समाप्यते। प्रथमं किं प्रयत्नं करिष्यसि?

Make something yourself एवं पुस्तकम् रक्ष यत् एकं मॉडलम् आवहति च तव स्वकीयाः दश इनपुट् सञ्चालयति। निर्गमाः एका फाइलि लिख, शीर्षे मॉडलनाम च दिनाङ्कं स्थापय।

Read the primary or official source: Hugging Face Transformers · quickstart