یو پرمخ وړونکي کولیبري جوړ کړی، یو د سپک وزن انټرنېټ انجن چې کولی شي د Z.ai GLM-5.2 چلوي، د 744 ملیارد پیرامیټر مخلوط - د متخصص ماډل، د مصرف کونکي هارډویر کې د Nvidia GPU پرته.

پروژه د CUDA، PyTorch، یا کلاوډ زیربنا پر ځای د CPU او محلي ذخیره په کارولو سره د شاوخوا 25GB RAM سره په ماشین کې ماډل چلولو لپاره ډیزاین شوې.

کولیبري بشپړ ماډل په حافظه کې نه پورته کوي.

پرځای یې، دا یوازې په RAM کې د ماهرینو فعال مرکب اجزا ساتي او د اړتیا په وخت کې د محلي SSD ذخیره کولو څخه پاتې ماډل وزنونه جریان کوي. دا سیسټم ته اجازه ورکوي چې یو ماډل پرمخ بوځي چې معمولا ډیر حافظې ته اړتیا لري.

نظر د ویډیو سټینګ سره ورته دی. تاسو د لیدلو دمخه ټول فلم ډاونلوډ نه کړئ. تاسو هغه برخه جریان کړئ چې تاسو ورته پدې وخت کې اړتیا لرئ.

د GLM-5.2 INT4 ماډل بسته د کولیبري سره کار کولو لپاره ډیزاین شوې.

ځکه چې ماډل د ذخیره کولو څخه تیر شوی، کاروونکي لاهم د ډیسک ځای او چټک SSD ته اړتیا لري. دا په لومړني لپ ټاپ کې د کوچني چیټ بوټ ماډل چلولو په څیر ندي ، او فعالیت به د GPU پراساس انفرنس سره سمون ونلري.

په هرصورت، پروژه ښیي چې د MoE خورا لوی ماډلونه د سمارټ حافظې او ذخیره کولو مدیریت له لارې د لاسرسي وړ کیدی شي.

ترټولو لوی تخنیکي ټکی دا دی چې کولیبري د عادي GPU سافټویر سټیک ته اړتیا نلري.

دا د CUDA، PyTorch، یا بادل زیربنا پرته پرمخ ځي. دا د پراختیا کونکو لپاره ګټور کوي څوک چې غواړي د ګران GPU سرورونو کرایه کولو پرته په محلي توګه د خورا لوی خلاص ماډلونو سره تجربه وکړي.

پروژه په GitHub کې د عامه JustVugg/colibri ذخیره لاندې شتون لري.

په ترتیب کې د ذخیره کولو کلون کول، د GLM-5.2 INT4 ماډل ډاونلوډ کول، د ماډل فایلونو ته کولیبري اشاره کول، او د محلي چیٹ سیشن پیل کول شامل دي.

کولیبري کولی شي د OpenAI سره مطابقت لرونکي API پای ټکی په توګه هم وګرځي. دا پراختیا کونکو ته اجازه ورکوي چې د دوی د کاري فلو د بیا جوړولو پرځای د بیس URL بدلولو سره موجوده ایپسونه وصل کړي.

کولیبري د Nvidia GPUs غیر اړونده نه کوي.

د GPU لوی کلسترونه به لاهم د تولید تحلیل ، درانه کاري بارونو ، او څو کاروونکو خدمت کولو لپاره خورا ګړندي وي. کولیبري د مفهوم ثبوت په توګه ښه پوهیږي چې ښیې چې د MoE خورا لوی ماډلونه تل اړتیا نلري چې د چلولو دمخه د GPU حافظې دننه په بشپړ ډول ناست وي.

دا لاهم یو مهم بدلون دی. د دې پرځای چې یوازې په لوی VRAM باندې تکیه وکړي ، سیسټم یو څه بار ارزانه RAM او SSD ذخیره کولو ته لیږدوي.

کولیبري د پراختیا کونکو لپاره خنډ کموي څوک چې غواړي د کلاوډ GPUs کارولو پرته لوی خلاص ماډلونه ازموینه وکړي.

دا دا هم ښیې چې ځایی AI ممکن چیرې روان وي. لکه څنګه چې د ماډل جوړښت، مقدار کول، او د انټرنېټ انجنونه ښه کیږي، ډیر وړ سیسټمونه ممکن په عادي هارډویر کې د کارولو وړ شي.

د اوس لپاره ، د کولیبري اصلي لاسته راوړنه د Nvidia ځای نه نیسي. دا ثابتوي چې د 744B پیرامیټر ماډل د سمې انفرنس چلند سره د اجناسو هارډویر کې د کارولو وړ کیدی شي.

وروستي تخنیکي خبرونه، د مخابراتو بصیرت، او د محصول لانچ هرچیرې چې تاسو غوره کوئ ترلاسه کړئ.

په غوره سرچینو کې پروپاکستاني اضافه کړئ او زموږ نور کیسې په ګوګل لټون او غوره کیسو کې وګورئ.

ونډې