د ګړندي AI انفرنس لپاره سیالي روانه ده ، او بازارونو سیریبراس او د دې هدف جوړ شوي چپس ته د می په میاشت کې د IPO په پیل کې تود هرکلی وکړ. مګر د فرانسوي پیل کوګ شرط کوي چې د دودیز GPUs څخه د ایستلو لپاره ډیر ځواک شتون لري.
پیل د می په میاشت کې د هیکر نیوز لومړي مخ ته د تخنیکي لید سره مخ شو چې هدف یې دا ثابتول دي چې "د معیاري ډیټا سینټر GPUs شرکتونو کې خورا ګړندي واحد غوښتنه کوډ کول ممکن دي" - لکه AMD MI300X او NVIDIA H200 GPUs چې دا د ډیمو لپاره کارول شوي.
ځینې یې په اوریدلو مایوسه شوي چې دا زموږ په لپټاپونو کې GPUs ته نه وغزیدلي ، مګر نورو یې احتمال ولیدل. د سرعت سرعت او لګښتونو سره چې اوس یو مهم خنډ دی ، د سافټویر اصلاح کولو سره په موجوده هارډویر کې د نوي ظرفیتونو خلاصولو لپاره د کوګ ژمنه د لیدونکو څخه ډیر راجلب کړي. "موږ 200 د پام وړ سوداګرۍ رهبري درلوده ،" سی ای او ګیل ډیلالو ټیک کرنچ ته وویل.
د لومړني فیډبیک پراساس ، سولو بنسټ ایښودونکی تمه لري د سافټویر انجینرۍ به د کارولو لومړۍ قضیه وي. د وترنر کلاډ کوډ کاروونکي ښه پوهیږي چې دوی ځینې وختونه باید د پایلو ترلاسه کولو لپاره ساعتونه انتظار وکړي. انتروپیک پخپله پوهیږي چې سرعت د پیسو ارزښت لري، او د کلاډ فاسټ موډ لپاره د قیمت څو چنده اخلي.
کوګ هیله لري هغه پیرودونکي په نښه کړي چې د دې ځنډونو له امله ځنډول شوي، معمولا ځکه چې دوی د مسلکي دندو لپاره د AI کاري فلو باندې تکیه کوي. مګر سټارټ اپ د ډیزاین شریکان هم لري چې کاروونکو ته اجازه ورکوي چې لوبې او ایپسونه په چټکتیا سره تولید کړي، او د چا لپاره د کوګ انفرنس انجن (KIE) څخه مننه ګړندۍ پایله به د ډیر عاید معنی ولري.
شرکت په دې پوهیږي چې دا بازار لاهم بشپړ نه دی. د غوښتنې لیدلو پرمهال، کوګ پوه شو چې د دې احتمالي پیرودونکي د کوچني ماډلونو ښه کولو لپاره چمتو ندي. "او له همدې امله د پیل راهیسې ، موږ په بشپړ ډول د لوی ماډلونو پراختیا ګړندي کولو باندې تمرکز کړی ترڅو هغه غوښتنې پوره کړي چې موږ لیدلي."
دا کوګ د "30x ګړندي LLM انفرنس" د خپلې ژمنې د وړاندې کولو لپاره لوی کودتا پریږدي. د دې ډیمو په هره ثانیه کې د 3000 هرې غوښتنې ټکنونه (TPS) په زړه پوري ښودلي - مګر د هدف لخوا جوړ شوي کوچني ماډل سره یوازې د 2 ملیارد پیرامیټرو سره ، اوس خلاص سرچینه لینفارمر 2B.
د شکمنو سره مخالفت کول، ډیلالو ډاډه دی چې ورته چلند کولی شي د LLMs سره هم کار وکړي، چې اندازه یې د انفرنس چپس لپاره ننګونه کیدی شي. هغه وویل: "GPUs روښانه راتلونکی لري." د کوګ سی ای او لپاره، دا نظر چې دوی د کوډ کولو لپاره مناسب ندي یو غلط فهم شوی؛ نوي GPUs ډیر او ډیر د حافظې بینډ ویت لري چې یوازې د خلاصیدو غوښتنه کوي.
کوګ یوازې په دې فکر کې نه دی چې د سافټویر اصلاح کولی شي د GPUs سره مرسته وکړي چې په بکس کې یې ویل شوي ډیر څه وکړي. ZML، د فرانسې څخه هم، د هارډویر - اګنوسټیک سافټویر خپور کړ چې د Nvidia CUDA څخه تیریږي ترڅو د سیالي چپسونو په اوږدو کې د ګړندي انګیرنې ملاتړ وکړي. مګر ډیلیلو وویل چې کوګ د GPU سرعت باندې حتی د ژورې کچې تمرکز سره د سټینفورډ پوهنتون لابراتوار هزي ریسرچ سره ډیر ورته دی.
Delalleau پخپله څیړونکی نه دی، او د هغه لومړی پیل، TechCrunch50 2009 alum Stribe، د هغه له نوي سره هیڅ تړاو نلري - پرته له دې چې د هغه پخوانی شریک بنسټ ایښودونکی VC کامل زیروول بدل شو، د هغه شرکت د Varsity VC د کوګ د تخم دورې مشري کوي. مګر د پیل ژورې کچې تمرکز د هغه ځانګړي شالید څخه رامینځته کیږي.
د فرانسې په اکول پولی تخنیک کې د جامد حالت فزیک زده کړې وروسته، هغه په سایبري امنیت کې کار کولو ته لاړ - چې د سپینې خولۍ هیکنګ په نوم هم پیژندل کیږي. د ډیلیلو په وینا ، دې ذهنیت ته شکل ورکړ چې هغه اوس خپله ډله وهڅوي چې خپل کړي. د ساینس په اړخ کې، "د فزیک قوانینو، او د GPU قوانینو د پوهیدو لپاره دا ذهنیت شتون لري ترڅو له دوی څخه ډیره ګټه پورته کړي."
د هیک کولو په اړه، د DEF CON CTF ټورنمنټ کې څلور ځله فاینلیسټ وویل چې دا هغه ته "په خورا ټیټه کچه د شیانو ریورس انجینر کولو لپاره درس ورکړ - د اسمبلی ژبې او بائنری کوډ پورې - ترڅو پوه شي چې دا څنګه کار کوي، او د هغه هدف ترلاسه کولو لپاره د کارولو هڅه وکړي چې دا اړینه نه وه ډیزاین شوې.
د دې کړنلارې نیمګړتیا دا ده چې دا خورا لاسي او وخت نیسي. "د هر نوي GPU لپاره ، موږ به څو اونۍ یا حتی میاشتې وقف کړو ، ترڅو واقعیا توضیحات وګورو او پدې هارډویر کې د GPU انجینري څیړنې ترسره کړو." د 11 کسانو ټیم سره ، دا د چپس شمیر ته محدودیت ورکوي چې کوګ کولی شي ورسره کار وکړي ، لږترلږه د راتلونکي راتلونکي لپاره. په اوږد مهال کې، کوګ هیله لري چې خپل میتودولوژي د اجنټ پر بنسټ پایپ لاینونو ته تغذیه کړي چې دا به اجازه ورکړي چې د نورو چپس او ماډلونو ملاتړ وکړي. لکه څنګه چې اروپا په دې دوه محاذونو کې د خپل ظرفیت رامینځته کولو په لټه کې دي ، دا کولی شي د پیل لپاره د حاکمیت tailwinds اضافه کړي ، کوم چې دمخه د Scaleway لخوا ملاتړ شوی او د فرانسې د Bpifrance او فرانسوي ټیک 2030 برنامې لخوا ملاتړ شوی.
د اوس لپاره، که څه هم، کوګ اړتیا لري نړۍ ته ثابت کړي چې د هغې طریقه په LLMs کار کوي. دا به د نورو تمویل خوندي کولو لپاره هم کلیدي وي. "یوځل چې موږ خپل لومړی لوی ماډل په 10x سرعت کې پلي کړو ، کوم چې زه فکر کوم په سپتمبر کې به وي ، موږ به وکولی شو د پیرودونکي جذب ښودل پیل کړو او له هغه ځایه به زموږ لړۍ A پورته کړو ،" ډیلالو وویل.
