একটি ফ্রি মেশিনে মডেল চালান

এক লাইনে মডেলের নাম দেওয়া হয় এবং সেটি চালানোর জন্য প্রস্তুত করা হয়, আর পরের লাইনে আপনার লেখা পাঠানো হয়। একটি ফ্রি মেশিনে প্রথম যে সীমা আসে তা হলো মেমোরি, ধৈর্য নয়। একটি ফ্রি Colab নোটবুকে ১৬ জিবি T4 কার্ড পাওয়া যায়, ১৪ সেপ্টেম্বর ২০২৬ তারিখে তথ্য নেওয়া হয়েছে। Colab বলে কার্ডের গ্যারান্টি নেই এবং সেশন সর্বোচ্চ ১২ ঘণ্টা পর্যন্ত চলে। Llama 3.2 1B পুরো প্রস্থে ২,৩৫৮ এমবি প্রয়োজন, তাই এটি ঠিকই ফিট হয়। যে মডেল ফিট হয় না তাকে কোয়ান্টাইজ করা হয় — ছোট সংখ্যায় সংরক্ষণ করা হয়। Transformers ডকুমেন্টস বলে ৮-বিট স্টোরেজ মেমোরি অর্ধেক করে দেয় এবং ৪-বিট করলে তা এক চতুর্থাংশে নেমে আসে। Meta-র কার্ডে একই 1B মডেলের ৪-বিট QLoRA সংস্করণ ১,১২৭ এমবিতে দেখানো হয়েছে। ডকুমেন্টসের সৎ কথা: ছোট সংখ্যাগুলো যতটা সম্ভব সঠিকতা রাখে, পুরোটা নয়। তাই কোয়ান্টাইজ করার পর আবার মাপুন।