मुफ़्त मशीन पर एक मॉडल चलाउ

एक पाँति में मॉडल के नाम आ ओकरा चलाबय के सेटिंग होइत अछि, आ दोसर पाँति में अहाँक लिखल पाठ पठाओल जाइत अछि। मुफ्त मशीन पर पहिलका सीमा मेमोरी होइत अछि, धैर्य नहि। एकटा मुफ्त Colab नोटबुक 16 GB वाला T4 कार्ड दैत अछि, 14 सितम्बर 2026 धरि पढ़ल गेल। Colab कहैत अछि जे कार्ड के गारंटी नहि अछि आ सत्र अधिकतम 12 घंटा तक चलैत अछि। Llama 3.2 1B के पूरा चौड़ाई पर 2,358 MB चाही, तेँ ई ठीक-ठाक फिट भऽ जाइत अछि। जे मॉडल फिट नहि होइत अछि, ओकरा क्वांटाइज कएल जाइत अछि — छोट संख्या में संग्रहित कएल जाइत अछि। Transformers के दस्तावेज कहैत अछि जे 8-बिट संग्रहण मेमोरी आधा कऽ दैत अछि आ 4-बिट ओकरा एक चौथाई तक घटा दैत अछि। Meta के कार्ड ओहि 1B मॉडल के 4-बिट QLoRA संस्करण 1,127 MB पर देखबैत अछि। दस्तावेज के सच्चा लागत: छोट संख्या जतेक सटीकता बचा सकैत अछि, ओतबे बचबैत अछि, पूरा नहि। तेँ क्वांटाइज कएलाक बाद फेर सँ मापन करू।