اِکَّ ڈِوَیلَپَرَ نے کولِیبَرِی، اِکَّ ہَلَکَا اَنُمَانَ اِن٘جَݨَ بَݨَائِا ہَے جو Z۔ai دَا GLM-۵۔۲، اِکَّ ۷۴۴-بِلِیءاَنَ-پَیرَامِیٹَرَ مِشَرَݨَ-آپھَ-اَیکَسَپَرَٹَسَ مَاڈَلَ، بِنَاں Nvidia GPU دے اُپَبھوگَتَا ہَارَڈَوےءاَرَ 'تے چَلَا سَکَدَا ہَے۔
پْروجَیکَٹَ CUDA، PyTorch، جَاں کَلَاؤُڈَ بُنِءآدِی ڈھَان٘چے دِی بَجَائے CPU اَتے سَتھَانَکَ سَٹوریجَ دِی وَرَتوں کَرَدے ہوئے، لَگَبھَگَ ۲۵GB RAM وَالِی مَشِینَ 'تے مَاڈَلَ نُوں چَلَاؤُݨَ لَئِی تِءآرَ کِیتَا گِءآ ہَے۔
کولِیبَرِی پُورے مَاڈَلَ نُوں مَیمورِی وِچَّ لوڈَ نَہِیں کَرَدَا ہَے۔
اِسَ دِی بَجَائے، اِہَ RAM وِچَّ کیوَلَ سَرَگَرَمَ مِشَرَݨَ-دے-مَاہَرَاں دے بھَاگَاں نُوں رَکھَّدَا ہَے اَتے لوڑَ پَیݨَ 'تے سَتھَانَکَ SSD سَٹوریجَ توں بَاکِی مَاڈَلَ ویٹَ نُوں سَٹْرِیمَ کَرَدَا ہَے۔ اِہَ سِسَٹَمَ نُوں اِکَّ مَاڈَلَ چَلَاؤُݨَ دِی آگِءآ دِن٘دَا ہَے جِسَ لَئِی آمَ تَورَ 'تے بَہُتَ زِءآدَا مَیمورِی دِی لوڑَ ہُن٘دِی ہَے۔
اِہَ وِچَارَ سَٹْرِیمِن٘گَ وِیڈِیؤ وَرَگَا ہَے۔ تُسِیں اِسَ نُوں دیکھَݨَ توں پَہِلَاں پُورِی پھِلَمَ نُوں ڈَاؤُنَلوڈَ نَہِیں کَرَدے۔ تُسِیں اُسَ ہِسّے نُوں سَٹْرِیمَ کَرَدے ہو جِسَدِی تُہَانُوں اُسَ سَمیں لوڑَ ہَے۔
GLM-۵۔۲ INT۴ مَاڈَلَ پَیکیجَ کولِبَرِی نَالَ کَمَّ کَرَنَ لَئِی تِءآرَ کِیتَا گِءآ ہَے۔
کِؤُن٘کِ مَاڈَلَ سَٹوریجَ توں سَٹْرِیمَ کِیتَا گِءآ ہَے، اُپَبھوگَتَاوَاں نُوں اَجے وِی لوڑِین٘دِی ڈِسَکَ سَپیسَ اَتے اِکَّ تیزَ SSD دِی لوڑَ ہَے۔ اِہَ اِکَّ بُنِءآدِی لَیپَٹَاپَ 'تے اِکَّ چھوٹَا چَیٹَبوٹَ مَاڈَلَ چَلَاؤُݨَ دے سَمَانَ نَہِیں ہَے، اَتے پْرَدَرَشَنَ GPU- اَدھَارَتَ اَنُمَانَ نَالَ میلَ نَہِیں کھَان٘دَا ہَے۔
ہَالَان٘کِ، پْروجَیکَٹَ دِکھَاؤُن٘دَا ہَے کِ بَہُتَ وَڈّے MoE مَاڈَلَاں نُوں چُسَتَ مَیمورِی اَتے سَٹوریجَ پْرَبَن٘دھَنَ دُءآرَا وَدھیرے پَہُن٘چَیوگَ بَݨَائِا جَا سَکَدَا ہَے۔
سَبھَ توں وَڈِّی تَکَنِیکِی گَلَّ اِہَ ہَے کِ کولِیبَرِی نُوں آمَ GPU سَوپھَٹَوےءاَرَ سَٹَیکَ دِی لوڑَ نَہِیں ہَے۔
اِہَ CUDA، PyTorch، جَاں کَلَاؤُڈَ بُنِءآدِی ڈھَان٘چے توں بِنَاں چَلَّدَا ہَے۔ اِہَ اُہَنَاں ڈِوَیلَپَرَاں لَئِی لَابھَدَائِکَ بَݨَاؤُن٘دَا ہَے جو مَہِن٘گے GPU سَرَوَرَاں نُوں کِرَائے 'تے لَئے بِنَاں سَتھَانَکَ تَورَ 'تے بَہُتَ وَڈّے اوپَنَ مَاڈَلَاں نَالَ پْرَیوگَ کَرَنَا چَاہُن٘دے ہَنَ۔
پْروجَیکَٹَ جَنَتَکَ JustVugg/colibri رِپوزَٹَرِی دے تَہِتَ GitHub 'تے اُپَلَبَدھَ ہَے۔
سَیٹَّءاَپَّ وِچَّ رِپوزَٹَرِی نُوں کَلونَ کَرَنَا، GLM-۵۔۲ INT۴ مَاڈَلَ نُوں ڈَاؤُنَلوڈَ کَرَنَا، کولِیبَرِی نُوں مَاڈَلَ پھَائِیلَاں وَلَّ اِشَارَا کَرَنَا، اَتے اِکَّ سَتھَانَکَ چَیٹَ سَیشَنَ شُرُو کَرَنَا شَامَلَ ہَے۔
کولِیبَرِی اِکَّ اوپَنَئےءآئِی-اَنُکُولَ API اَن٘تَمَ بِن٘دُو وَجوں وِی چَلَّ سَکَدَا ہَے۔ اِہَ ڈِوَیلَپَرَاں نُوں آپَݨے وَرَکَپھَلو نُوں دُبَارَا بَݨَاؤُݨَ دِی بَجَائے بیسَ URL نُوں بَدَلَ کے مَوجُودَا اَیپَسَ نُوں کَنَیکَٹَ کَرَنَ دِن٘دَا ہَے۔
کولِیبَرِی Nvidia GPUs نُوں اَپْرَسَن٘گِکَ نَہِیں بَݨَاؤُن٘دَا ہَے۔
وَڈّے GPU کَلَسَّٹَرَ اَجے وِی اُتَپَادَنَ اَنُمَانَ، بھَارِی وَرَکَلوڈَ، اَتے مَلَٹِی-یُوزَرَ سَرَوِن٘گَ لَئِی بَہُتَ تیزَ ہوݨَگے۔ کولِیبَرِی نُوں سَن٘کَلَپَ دے سَبُوتَ وَجوں چَن٘گِی تَرھَاں سَمَجھِءآ جَان٘دَا ہَے جو اِہَ دَرَسَاؤُن٘دَا ہَے کِ بَہُتَ وَڈّے MoE مَاڈَلَاں نُوں چَلَّݨَ توں پَہِلَاں ہَمیشَا پُورِی تَرھَاں GPU مَیمورِی دے اَن٘دَرَ بَیٹھَݨَ دِی لوڑَ نَہِیں ہُن٘دِی ہَے۔
اِہَ اَجے وِی اِکَّ مَہَتَّوَپُورَنَ تَبَدِیلِی ہَے۔ سِرَفَ وَڈّے VRAM 'تے نِرَبھَرَ کَرَنَ دِی بَجَائے، سِسَٹَمَ کُجھَ بوجھَ نُوں سَسَتِی RAM اَتے SSD سَٹوریجَ 'تے لَے جَان٘دَا ہَے۔
کولِیبَرِی اُہَنَاں ڈِوَیلَپَرَاں لَئِی رُکَاوَٹَ نُوں گھَٹَاؤُن٘دَا ہَے جو کَلَاؤُڈَ GPUs دِی وَرَتوں کِیتے بِنَاں وَڈّے اوپَنَ مَاڈَلَاں دِی جَان٘چَ کَرَنَا چَاہُن٘دے ہَنَ۔
اِہَ اِہَ وِی دِکھَاؤُن٘دَا ہَے کِ سَتھَانَکَ AI کِتھّے جَا رِہَا ہَے۔ جِویں کِ مَاڈَلَ آرَکِیٹَیکَچَرَ، کُءآن٘ٹَائِیزیشَنَ، اَتے اِنَپھَرَین٘سَ اِن٘جَݨَاں وِچَّ سُدھَارَ ہُن٘دَا ہَے، وَدھیرے سَمَرَتھَّ سِسَٹَمَ آمَ ہَارَڈَوےءاَرَ اُتّے وَرَتوں یوگَ بَݨَ سَکَدے ہَنَ۔
ہُݨَ لَئِی، کولِیبَرِی دِی مُکھَّ پْرَاپَتِی اَینَوِیڈِیءآ دِی تھَاں نَہِیں لَے رَہِی ہَے۔ اِہَ سَابَتَ کَرَ رِہَا ہَے کِ اِکَّ ۷۴۴B-پَیرَامِیٹَرَ مَاڈَلَ نُوں سَہِی اَنُمَانَ پَہُن٘چَ نَالَ کَموڈِٹِی ہَارَڈَوےءاَرَ 'تے وَرَتوں یوگَ بَݨَائِا جَا سَکَدَا ہَے۔
نَوِینَتَمَ تَکَنِیکِی خَبَرَاں، دُورَسَن٘چَارَ جَاݨَکَارِی، اَتے اُتَپَادَ لَان٘چَ کَرو جِتھّے وِی تُسِیں تَرَجِیہَ دِن٘دے ہو۔
پْروپَاکِسَتَانِی نُوں تَرَجِیہِی سَروتَاں وِچَّ شَامَلَ کَرو اَتے Google کھوجَ اَتے پْرَمُکھَّ کَہَاݨِیءآں وِچَّ سَاڈِیءآں ہورَ کَہَاݨِیءآں دیکھو۔
شےءاَرَ
