ایک مفت مشین پر ماڈل چلائیں

ایک لائن ماڈل کا نام بتاتی ہے اور اسے چلانے کے لیے تیار کرتی ہے، اور اگلی لائن آپ کا متن بھیجتی ہے۔ ایک مفت مشین پر سب سے پہلے جو حد آتی ہے وہ صبر نہیں بلکہ میموری ہوتی ہے۔ ایک مفت Colab نوٹ بک T4 کارڈ دیتی ہے جس میں 16 GB میموری ہوتی ہے، 14 ستمبر 2026 کو پڑھی گئی معلومات کے مطابق۔ Colab کہتا ہے کہ کارڈ کی ضمانت نہیں ہے اور سیشن زیادہ سے زیادہ 12 گھنٹے تک چلتا ہے۔ Llama 3.2 1B کو مکمل چوڑائی پر 2,358 MB کی ضرورت ہوتی ہے، اس لیے یہ ویسے ہی فٹ ہو جاتا ہے۔ جو ماڈل فٹ نہیں ہوتا اسے quantise کیا جاتا ہے — یعنی چھوٹے نمبروں میں محفوظ کیا جاتا ہے۔ Transformers کی دستاویزات کے مطابق 8-bit اسٹوریج میموری کو آدھا کر دیتی ہے اور 4-bit اسے چار حصہ کر دیتی ہے۔ Meta کے کارڈ پر اسی 1B ماڈل کا 4-bit QLoRA ورژن 1,127 MB پر دکھایا گیا ہے۔ دستاویزات کی ایماندار قیمت: چھوٹے نمبر جتنی درستگی بچا سکیں بچاتے ہیں، پوری نہیں۔ اس لیے quantising کے بعد دوبارہ ناپیں۔