निःशुल्क मेसिनमा मोडेल चलाउनुहोस्

एक लाइनले मोडेलको नाम राख्छ र चलाउन तयार पार्छ, अर्को लाइनले तपाईंको पाठ पठाउँछ। निःशुल्क मेसिनमा पहिलो सीमितता धैर्य होइन, मेमोरी हो। निःशुल्क Colab नोटबुकले १६ GB को T4 कार्ड दिन्छ, १४ सेप्टेम्बर २०२६ मा पढिएको। Colab भन्छ कार्डको ग्यारेन्टी छैन र सत्र अधिकतम १२ घण्टामा समाप्त हुन्छ। Llama 3.2 1B लाई पूर्ण चौडाइमा २,३५८ MB चाहिन्छ, त्यसैले यो त्यहीँ फिट हुन्छ। नफिट हुने मोडेललाई क्वान्टाइज गरिन्छ — छोटो नम्बरमा भण्डारण गरिन्छ। Transformers का कागजातले भन्छन् ८-बिट स्टोरेजले मेमोरी आधा गर्छ र ४-बिटले चौथाई गर्छ। Meta को कार्डले सोही 1B मोडेलको ४-बिट QLoRA संस्करण १,१२७ MB मा देखाउँछ। कागजातको साँचो मूल्य: छोटो नम्बरले सकेसम्म धेरै सटीकता राख्छ, सबै होइन। त्यसैले क्वान्टाइज गरेपछि फेरि मापन गर्नुहोस्।