هڪ ڊولپر Colibri ٺاهيو آهي، هڪ هلڪو وزن انجڻ انجڻ جيڪو هلائي سگهي ٿو Z.ai جي GLM-5.2، هڪ 744-ارب-پيراميٽر ميڪچر-آف-ماهر ماڊل، صارف هارڊويئر تي بغير Nvidia GPU جي.

پروجيڪٽ ماڊل کي مشين تي هلائڻ لاءِ ٺاهيو ويو آهي تقريباً 25GB ريم سان، CUDA، PyTorch، يا ڪلائوڊ انفراسٽرڪچر بدران CPU ۽ مقامي اسٽوريج استعمال ڪندي.

ڪوليبري مڪمل ماڊل کي ميموري ۾ لوڊ نٿو ڪري.

ان جي بدران، اهو رکي ٿو صرف فعال مرکب-آف-ماهر جي اجزاء کي رام ۾ ۽ باقي ماڊل وزن کي مقامي SSD اسٽوريج مان وهڪرو ڪري ٿو جڏهن ضرورت هجي. هي سسٽم کي هڪ ماڊل هلائڻ جي اجازت ڏئي ٿو جيڪا عام طور تي وڌيڪ ياداشت جي ضرورت هوندي.

اهو خيال وڊيو اسٽريمنگ وانگر آهي. توھان ان کي ڏسڻ کان پھريان پوري فلم ڊائون لوڊ نٿا ڪريو. توھان ان وقت جو حصو ٺاھيو جيڪو توھان جي ضرورت آھي.

GLM-5.2 INT4 ماڊل پيڪيج کولبري سان ڪم ڪرڻ لاءِ ٺهيل آهي.

ڇو ته ماڊل اسٽوريج مان وهڪرو ڪيو ويو آهي، صارفين اڃا تائين ڪافي ڊسڪ اسپيس ۽ هڪ تيز ايس ايس ڊي جي ضرورت آهي. هي هڪ بنيادي ليپ ٽاپ تي هڪ ننڍڙو چيٽ بوٽ ماڊل هلائڻ جهڙو ناهي، ۽ ڪارڪردگي GPU-بنياد تي ٻڌل انداز سان نه ملندي.

بهرحال، پروجيڪٽ ڏيکاري ٿو ته تمام وڏا MoE ماڊلز کي وڌيڪ پهچ ۾ آڻي سگهجي ٿو سمارٽ ميموري ۽ اسٽوريج مينيجمينٽ ذريعي.

سڀ کان وڏو ٽيڪنيڪل نقطو اهو آهي ته ڪوليبري کي معمولي GPU سافٽ ويئر اسٽيڪ جي ضرورت ناهي.

اهو CUDA، PyTorch، يا ڪلائوڊ انفراسٽرڪچر کان سواءِ هلندو آهي. اهو ڊولپرز لاءِ ڪارائتو بڻائي ٿو جيڪي مقامي طور تي تمام وڏا کليل ماڊلز سان تجربا ڪرڻ چاهيندا آهن بغير قيمتي GPU سرور جي ڪرائي تي.

پروجيڪٽ GitHub تي عوامي JustVugg/colibri repository تحت موجود آهي.

سيٽ اپ ۾ مخزن کي ڪلون ڪرڻ، GLM-5.2 INT4 ماڊل ڊائون لوڊ ڪرڻ، ماڊل فائلن ڏانهن ڪوليبري کي اشارو ڪرڻ، ۽ مقامي چيٽ سيشن شروع ڪرڻ شامل آهي.

کولبري پڻ هلائي سگھي ٿو OpenAI-مطابقت رکندڙ API جي آخري پوائنٽ جي طور تي. هي ڊولپرز کي موجوده ايپس کي ڳنڍڻ جي اجازت ڏئي ٿو بنيادي URL کي تبديل ڪندي انهن جي ڪم فلو کي ٻيهر تعمير ڪرڻ بدران.

ڪوليبري Nvidia GPUs کي غير لاڳاپيل نٿو بڻائي.

وڏيون GPU ڪلستر اڃا به وڌيڪ تيز ٿي ويندا پيداوار جي حوالي سان، ڳري ڪم لوڊ، ۽ گهڻن صارف جي خدمت لاء. ڪوليبري کي تصور جي ثبوت طور سمجھيو وڃي ٿو ته تمام وڏا MoE ماڊل کي ھميشه ھميشه جي پي يو ميموري جي اندر مڪمل طور تي ويھڻ جي ضرورت نه آھي ان کان اڳ اھي ھلائي سگھن.

اهو اڃا تائين هڪ اهم تبديلي آهي. صرف وڏي VRAM تي انحصار ڪرڻ جي بدران، سسٽم ڪجهه بوجھ کي سستي رام ۽ ايس ايس ڊي اسٽوريج ڏانهن منتقل ڪري ٿو.

کولبري ڊولپرز لاءِ رڪاوٽ کي گھٽائي ٿو جيڪي ڪلائوڊ GPUs استعمال ڪرڻ کان سواءِ وڏي کليل ماڊل کي جانچڻ چاهيندا آهن.

اهو پڻ ڏيکاري ٿو جتي مقامي AI ٿي سگهي ٿي. جيئن ته ماڊل آرڪيٽيڪچر، مقدار سازي، ۽ انفرنس انجڻ بهتر ٿين ٿا، وڌيڪ قابل سسٽم عام هارڊويئر تي استعمال لائق ٿي سگھن ٿا.

هينئر تائين، ڪوليبري جي مکيه ڪاميابي Nvidia کي تبديل نه ڪري رهي آهي. اهو ثابت ڪري رهيو آهي ته هڪ 744B-پيراميٽر ماڊل ڪموڊٽي هارڊويئر تي استعمال لائق بڻائي سگهجي ٿو صحيح انفرنس واري انداز سان.

تازه ترين ٽيڪني خبرن، ٽيليڪم بصيرت، ۽ پراڊڪٽ لانچ حاصل ڪريو جتي توهان چاهيو ٿا.

ProPakistani کي ترجيحي ذريعن ۾ شامل ڪريو ۽ ڏسو اسان جون وڌيڪ ڪهاڻيون گوگل سرچ ۽ ٽاپ اسٽوريز ۾.

شيئرز