मुफ़्त मशीन ते मॉडल चलाओ

What this lesson is about

मुफ़्त नोटबुक विच छोटा मॉडल लोड करो, उसनू दस इनपुट भेजो, अते जो वपिस आया ओ सहेज लो।

हिन्दी विच दस ग्राहकां दे संदेश रुके हुए ने ते इक मुफ्त मशीन इक घंटे लई खुली ऐ। तुसीं एना नाल की करोगे?

Why this matters

एक लाइन मॉडल दा नांव दिंदी ऐ ते उसनूं चलाण वास्ते तियार करदी ऐ, ते अगली लाइन उसनूं तुहाडा लिख्या होया टेक्स्ट भेजदी ऐ। मुफ़्त मशीन ते पहला लिमिट मेमोरी हुंदी ऐ, सब्र नहीं। एक मुफ़्त Colab नोटबुक 16 GB वाला T4 कार्ड दिंदी ऐ, 14 सितंबर 2026 तक पढ़्या गया। Colab कहंदा ऐ कार्ड दी गारंटी नहीं ते सेशन वध तो वध 12 घंटे तक चलदा ऐ। Llama 3.2 1B नूं पूरी चौड़ाई ते 2,358 MB चाहिदा ऐ, इसलई एदे विच फिट हो जांदा ऐ। जड़ा मॉडल फिट नहीं हुंदा, उसनूं quantise करदे ने — छोटे नंबरां विच स्टोर करदे ने। Transformers दे दस्तावेज़ कहिंदे ने 8-bit स्टोरेज मेमोरी नूं आधा कर दिंदी ऐ ते 4-bit नूं चौथाई। Meta दा कार्ड ओही 1B मॉडल दा 4-bit QLoRA वर्जन 1,127 MB ते दिखांदा ऐ। दस्तावेज़ दी सच्ची कीमत: छोटे नंबर जिंदगी भर दी सटीकता नहीं बचांदे, पर जिंदगी भर जितनी बच सके बचांदे ने। इसलई quantising तो बाद फेर नापो।

तुस्सी मुफ्त मशीन ते छोटा मॉडल लोड कर सकते हो, दस इनपुट चला सकते हो, अते जो वपिस आया ओ सहेज सकते हो।

छोटा मॉडल लोड करो, उसनू इनपुट भेजो, अते नतीजे ओथे सहेजो जिथे तुसी पढ़ सको।
समां तो पहले मेमोरी खत्म हो जांदी है; आम इलाज छोटा मॉडल लेना है।
नतीज्यां नाल मॉडल दा पूरा नां अते संस्करण सहेजो, नहीं त फेर दोबारा नहीं होवेगा।

Task

मुफ़्त मशीन ते छोटे खुले मॉडल विच हिंदी दे दस ग्राहक संदेश चलाना।

Weak approach सारे दस चलाना, स्क्रीन ते जवाब पढ़के ठीक लगना, ते घंटे खतम होण ते टैब बंद कर देना। रन दा कोई निशान नहीं बचदा।

Stronger approach मुफ़्त Colab T4 ते Llama 3.2 1B Instruct लोड करना, पूरी चौड़ाई विच, क्यूंकि 2,358 MB 16 GB विच फिट हो जांदे ने। दसों संदेश भेजना ते हर जवाब नूं उस संदेश दे नाल इक शीट विच लिखणा। शीट दी ऊपरली पंक्ति मॉडल दा पूरा नांव, जिस चौड़ाई ते लोड होया, ते जिस दिन चलाया गया, लिखदी ऐ।

Why the stronger approach works जो चलाया पर सहेजा नहीं गया, उसनू काल्ह दी रन नाल नहीं रखया जा सकदा। ओ तुलना ही चलाण दी वजह सी।

Try a changed situation किसे ग्राहक वास्ते लंबा वीडियो एडिट करदे होए तुहाडा फोन अटक गया अते ऐप बिना चेतावनी बंद हो गया। तुसी पहला की करोगे?

Make something yourself ऐसी नोटबुक सहेजो जो इक मॉडल लोड करे अते तुहाडे दस इनपुट उस विच चलाए। नतीजे इक फाइल विच लिखो, अते ऊपर मॉडल दा नां अते तारीख लिखो।

Read the primary or official source: Hugging Face Transformers · quickstart