ମୁକ୍ତ ମେସିନରେ ଏକ ମଡେଲ୍ ଚଳାନ୍ତୁ

What this lesson is about

ମୁକ୍ତ ନୋଟବୁକ୍‌ରେ ଏକ ଛୋଟ ମଡେଲ୍ ଲୋଡ୍ କରନ୍ତୁ, ତାହାକୁ ଦଶଟି ଇନପୁଟ୍ ପଠାନ୍ତୁ, ଏବଂ ଯାହା ଫେରିଲା ସେଥିରେ ସଞ୍ଚୟ କରନ୍ତୁ।

ହିନ୍ଦୀରେ ଦଶଟି ଗ୍ରାହକ ସନ୍ଦେଶ ରହିଛି ଏବଂ ଏକ ମୁକ୍ତ ମେସିନ୍ ଗଣ୍ଟା ଭରି ଖୋଲା ଅଛି। ଆପଣ ସେଗୁଡ଼ିକ ସହ କ’ଣ କରିବେ?

Why this matters

ଏକ ପଙ୍କ୍ତି ମଡେଲ୍‌ର ନାମ ଦେଇ ଏହାକୁ ଚାଲାଇବା ପାଇଁ ସଜାଏ, ଏବଂ ପରବର୍ତ୍ତୀ ପଙ୍କ୍ତି ତୁମର ଟେକ୍ସଟ୍ ପଠାଏ। ଏକ ମୁକ୍ତ ମେସିନରେ ପ୍ରଥମେ ସୀମା ହୁଏ ସ୍ମୃତି, ଧৈର୍ଯ୍ୟ ନୁହେଁ। ଏକ ମୁକ୍ତ Colab ନୋଟବୁକ୍ 16 GB ସହିତ T4 କାର୍ଡ ଦିଏ, 14 ସେପ୍ଟେମ୍ବର 2026 ରେ ପଢ଼ାଗଲା। Colab କହେ କାର୍ଡ ନିଶ୍ଚିତ ନୁହେଁ ଏବଂ ସେସନ୍ ସର୍ବାଧିକ 12 ଘଣ୍ଟା ପର୍ଯ୍ୟନ୍ତ ଚାଲିଥାଏ। Llama 3.2 1B ପୂର୍ଣ୍ଣ ପ୍ରସ୍ତରରେ 2,358 MB ଆବଶ୍ୟକ, ତେଣୁ ଏହା ସେହିପରି ଫିଟ୍ ହୁଏ। ଯେଉଁ ମଡେଲ୍ ଫିଟ୍ ନହୁଏ ସେଥିରେ କ୍ୱାଣ୍ଟାଇଜ୍ କରାଯାଏ — ଛୋଟ ସଂଖ୍ୟାରେ ସଞ୍ଚୟ କରାଯାଏ। Transformers ଡକ୍ୟୁମେଣ୍ଟ କହେ 8-ବିଟ୍ ସଞ୍ଚୟ ସ୍ମୃତିକୁ ଅର୍ଧ କରେ ଏବଂ 4-ବିଟ୍ ତାହାକୁ ଚତୁର୍ଥାଂଶ କରେ। Meta ର କାର୍ଡ ସେହି 1B ମଡେଲ୍ ର 4-ବିଟ୍ QLoRA ବିଲ୍ଡ 1,127 MB ରେ ଦେଖାଏ। ଡକ୍ୟୁମେଣ୍ଟର ସତ୍ୟ ବ୍ୟୟ: ଛୋଟ ସଂଖ୍ୟାଗୁଡ଼ିକ ସମ୍ଭବ ଥିବା ସମ୍ପୂର୍ଣ୍ଣ ସଠିକତା ରଖିପାରେ ନାହିଁ। ତେଣୁ କ୍ୱାଣ୍ଟାଇଜ୍ କରିବା ପରେ ପୁଣି ମାପନ କର।

ଆପଣ ଏକ ମୁକ୍ତ ମେସିନରେ ଏକ ଛୋଟ ମଡେଲ୍ ଲୋଡ୍ କରିପାରିବେ, ଦଶଟି ଇନପୁଟ୍ ଚଳାଇପାରିବେ, ଏବଂ ଯାହା ଫେରିଲା ସେଥିରେ ସଞ୍ଚୟ କରିପାରିବେ।

ଏକ ଛୋଟ ମଡେଲ୍ ଲୋଡ୍ କରନ୍ତୁ, ତାହାକୁ ଇନପୁଟ୍ ପଠାନ୍ତୁ, ଏବଂ ଆଉଟପୁଟ୍ ସେଠାରେ ସଞ୍ଚୟ କରନ୍ତୁ ଯେଉଁଠାରୁ ଆପଣ ପଢ଼ିପାରିବେ।
ଆପଣଙ୍କର ସମୟ ପୂର୍ବରୁ ନୁହେଁ, ସ୍ମୃତି ଶେଷ ହୁଏ; ସାଧାରଣ ସମାଧାନ ହେଉଛି ଛୋଟ ମଡେଲ୍ ନେବା।
ଆଉଟପୁଟ୍ ସହିତ ଠିକ୍ ମଡେଲ୍ ନାମ ଏବଂ ସଂସ୍କରଣ ସଞ୍ଚୟ କରନ୍ତୁ, ନହେଲେ କିଛି ପୁନଃରାବୃତ୍ତି ହେବ ନାହିଁ।

Task

ମୁକ୍ତ ମେସିନରେ ଏକ ଛୋଟ ଖୋଲା ମଡେଲ୍ ମାଧ୍ୟମରେ ହିନ୍ଦୀରେ ଦଶଟି ଗ୍ରାହକ ସନ୍ଦେଶ ଚଳାଇବା।

Weak approach ସମସ୍ତ ୧୦ଟି ଚଲାଇବା, ସ୍କ୍ରିନ୍‌ରେ ଉତ୍ତରଗୁଡ଼ିକୁ ପଢ଼ି ସେଗୁଡ଼ିକୁ ସଠିକ୍ ବୋଲି ମନୋନ୍ୱୟ କରିବା। ଘଣ୍ଟା ଶେଷରେ ଟ୍ୟାବ୍ ବନ୍ଦ ହେଉଛି ଏବଂ ଚଳାଣର କିଛି ଅବଶେଷ ନାହିଁ।

Stronger approach ମୁକ୍ତ Colab T4 ଉପରେ Llama 3.2 1B Instruct ଲୋଡ୍ କରୁଛି, ପୂର୍ଣ୍ଣ ପ୍ରସ୍ତରରେ କାରଣ 2,358 MB 16 GB ମଧ୍ୟରେ ଫିଟ୍ ହୁଏ। ସମସ୍ତ 10ଟି ସନ୍ଦେଶ ପଠାଉଛି ଏବଂ ପ୍ରତ୍ୟେକ ଉତ୍ତରକୁ ତାହାର ସନ୍ଦେଶ ପାଖରେ ଏକ ଶୀଟ୍‌ରେ ରଖୁଛି। ଶୀଟ୍‌ର ଶୀର୍ଷ ପଙ୍କ୍ତିରେ ମଡେଲ୍‌ର ପୂର୍ଣ୍ଣ ନାମ, ଯେଉଁ ପ୍ରସ୍ତରରେ ଏହା ଲୋଡ୍ ହୋଇଛି, ଏବଂ ଚାଲିଥିବା ଦିନ ଥାଏ।

Why the stronger approach works ଯାହା ଚଳାଇଗଲା କିନ୍ତୁ ସଞ୍ଚୟ ହେଲା ନାହିଁ, ସେଥିରେ ଆଗାମୀକାଲିର ଚଳାନା ସହ ପାଖାପାଖି ରଖିପାରିବେ ନାହିଁ। ସେହି ତୁଳନା ହେଉଛି ଆପଣ ଏହାକୁ ଚଳାଇବାର କାରଣ।

Try a changed situation ଗ୍ରାହକ ପାଇଁ ଏକ ଲମ୍ବା ଭିଡିଓ ସମ୍ପାଦନା କରୁଥିବାବେଳେ ଆପଣଙ୍କର ଫୋନ୍ ଅଟକିଯାଏ ଏବଂ ଆପ୍ ଚେତାବନୀ ବିନା ବନ୍ଦ ହୋଇଯାଏ। ପ୍ରଥମେ ଆପଣ କ’ଣ ଚେଷ୍ଟା କରିବେ?

Make something yourself ଏକ ନୋଟବୁକ୍ ସଞ୍ଚୟ କରନ୍ତୁ ଯାହା ଗୋଟିଏ ମଡେଲ୍ ଲୋଡ୍ କରେ ଏବଂ ଆପଣଙ୍କର ଦଶଟି ନିଜସ୍ୱ ଇନପୁଟ୍ ଚଳାଏ। ଆଉଟପୁଟ୍ ଏକ ଫାଇଲ୍‌ରେ ଲେଖନ୍ତୁ, ମଡେଲ୍ ନାମ ଏବଂ ତାରିଖ ସବୁଠାରୁ ଉପରେ ଦିଅନ୍ତୁ।

Read the primary or official source: Hugging Face Transformers · quickstart