مفت مشين تي ماڊل هلائڻ

هڪ لائن ماڊل جو نالو ڏئي ان کي هلائڻ لاءِ تيار ڪري ٿي، ۽ ايندڙ لائن توهان جو متن موڪلي ٿي. مفت مشين تي سڀ کان پهرين حد ياداشت هوندي آهي، صبر نه. هڪ مفت Colab نوٽ بڪ T4 ڪارڊ ڏئي ٿي جنهن ۾ 16 GB آهي، 14 سيپٽمبر 2026 تي پڙهيو. Colab چوندو آهي ڪارڊ جي ضمانت ناهي ۽ سيشن وڌ ۾ وڌ 12 ڪلاڪن ۾ ختم ٿي ويندو آهي. Llama 3.2 1B کي مڪمل ويڪر تي 2,358 MB گهرجن، تنهنڪري اهو جيئن آهي تيئن فٽ ٿي وڃي ٿو. جيڪو ماڊل فٽ نٿو ٿئي ان کي quantise ڪيو ويندو آهي — يعني ننڍن انگن ۾ محفوظ ڪيو ويندو آهي. Transformers جا دستاويز چون ٿا 8-bit اسٽوريج ياداشت کي اڌ ڪري ٿي ۽ 4-bit ان کي چوٿون ڪري ڇڏي ٿي. Meta جو ڪارڊ ساڳئي 1B ماڊل جو 4-bit QLoRA ورزن 1,127 MB تي ڏيکاري ٿو. دستاويزن جي ايماندار قيمت: ننڍا انگ ايتري درستگي رکن ٿا جيتري ٿي سگهي، سڀ نه. تنهنڪري quantise ڪرڻ کان پوءِ ٻيهر ماپ ڪريو.