تيز رفتار AI انفرنس لاءِ ڊوڙ جاري آهي، ۽ مارڪيٽن سيريبراس ۽ ان جي مقصد سان ٺهيل چپس کي مئي ۾ پنهنجي IPO جي شروعات ۾ گرمجوشي جو استقبال ڪيو. پر فرانسيسي شروعاتي ڪوگ بيٽنگ ڪري رهيو آهي ته روايتي GPUs مان نچوض ٿيڻ جي تمام گهڻي طاقت آهي.
شروعات مئي ۾ هيڪر نيوز جي فرنٽ پيج تي هڪ ٽيڪني ڏيک سان ٿيو جنهن جو مقصد اهو ثابت ڪرڻ آهي ته ”انتهائي تيز سنگل گذارش ڊيڪوڊنگ ممڪن آهي معياري ڊيٽا سينٽر GPUs ادارن تي جيڪي اڳ ۾ ئي پنهنجون آهن“ - جهڙوڪ AMD MI300X ۽ NVIDIA H200 GPUs ان جي ڊيمو لاءِ استعمال ڪيا ويا.
ڪجهه اهو ٻڌي مايوس ٿي ويا ته هي اسان جي ليپ ٽاپن ۾ GPUs تائين نه وڌايو، پر ٻين کي امڪاني ڏٺو. رفتار جي رفتار ۽ قيمتن سان گڏ هاڻي هڪ نازڪ رڪاوٽ آهي، ڪوگ جو واعدو موجوده هارڊويئر تي نئين صلاحيتن کي انلاڪ ڪرڻ جو واعدو سافٽ ويئر جي اصلاح سان ڏسندڙن کان وڌيڪ متوجه ٿيو. ”اسان وٽ 200 قابل ڪاروباري ليڊز هئا ،“ سي اي او گيل ڊيليلو TechCrunch کي ٻڌايو.
ابتدائي موٽ جي بنياد تي، سولو باني کي اميد آهي ته سافٽ ويئر انجنيئرنگ پهريون استعمال ڪيس آهي. ويٽرن ڪلوڊ ڪوڊ استعمال ڪندڙن کي چڱي طرح خبر آهي ته انهن کي ڪڏهن ڪڏهن نتيجا حاصل ڪرڻ لاء ڪلاڪن جو انتظار ڪرڻو پوندو. انتھروپڪ پاڻ سمجھي ٿو ته رفتار رقم جي قيمت آھي، ۽ ڪلاڊ جي فاسٽ موڊ لاءِ قيمت گھڻائي چارج ڪري ٿو.
ڪوگ اميد ڪري رهيو آهي ته گراهڪن کي نشانو بڻائڻ جي انهن تاخيرن جي ڪري ، عام طور تي ڇاڪاڻ ته اهي پيشه ور ڪمن لاءِ AI ورڪ فلوز تي ڀاڙين ٿا. پر اسٽارٽ اپ ۾ ڊزائينز پارٽنر پڻ آهن جيڪي صارفين کي فوري طور تي رانديون ۽ ايپس ٺاهي سگھندا آهن، ۽ جن لاءِ ڪوگ انفرنس انجڻ (KIE) جي مهرباني تيز نتيجو وڌيڪ آمدني جو مطلب هوندو، ڊيليلو چيو.
ڪمپني جو احساس آهي ته هي مارڪيٽ اڃا تائين بلڪل پختو نه آهي. مطالبن جو مشاهدو ڪرڻ دوران، ڪوگ سکيو ته ان جا امڪاني گراهڪ ننڍا ماڊلز کي ٺيڪ ڪرڻ لاءِ تيار نه آهن. "۽ اهو ئي سبب آهي ته لانچ کان وٺي، اسان مڪمل طور تي ڌيان ڏنو ويو آهي ته وڏن ماڊلز جي ترقي کي تيز ڪرڻ لاء جيڪي اسان ڏٺو آهي.
هي ڪوگ کي پنهنجي واعدي تي پهچائڻ لاءِ “30x تيز ايل ايل ايم جو اندازو لڳائڻ” لاءِ هڪ وڏي ٽپ ڏئي ٿو. ان جي ڊيمو ڏيکاريو هڪ شاندار 3000 في-درخواست ٽوڪن في سيڪنڊ (TPS) - پر هڪ مقصد سان ٺهيل ننڍڙي ماڊل سان صرف ڪجهه 2 بلين پيرا ميٽرز سان، هاڻي کليل ذريعو لينفارمر 2B.
شڪي ماڻهن جي مخالفت ڪندي، ڊيليلو کي يقين آهي ته ساڳيو طريقو ڪم ڪري سگهي ٿو صرف LLMs سان، جن جي سائيز انفرنس چپس لاء هڪ چئلينج ٿي سگهي ٿو. "GPUs جو هڪ روشن مستقبل آهي،" هن چيو. ڪوگ جي سي اي او لاءِ، اهو خيال ته اهي ڊيڪوڊنگ لاءِ مناسب نه آهن هڪ غلط فڪر بڻجي ويو آهي؛ نون GPUs وٽ وڌيڪ ۽ وڌيڪ ميموري بينڊوڊٿ آهي جيڪا صرف ان لاڪ ٿيڻ جي درخواست ڪري ٿي.
ڪوگ اهو سوچڻ ۾ اڪيلو نه آهي ته سافٽ ويئر جي اصلاح جي مدد ڪري سگهي ٿي GPUs ان کان وڌيڪ ڪم ڪرڻ کان وڌيڪ ان جي باڪس تي. ZML، فرانس مان پڻ، هارڊويئر-اگنوسٽڪ سافٽ ويئر جاري ڪيو جيڪو Nvidia جي CUDA کي پاس ڪري ٿو مقابلي ۾ چپس تي تيز رفتار جي مدد ڪرڻ لاء. پر ڊيليلو چيو ته ڪوگ اسٽينفورڊ يونيورسٽي جي ليب هزي ريسرچ سان وڌيڪ مشابهت رکي ٿو ، جي پي يو جي تيز رفتار تي اڃا به وڌيڪ اونهي سطح تي ڌيان ڏيڻ سان.
ڊيليلو پاڻ هڪ محقق نه آهي، ۽ هن جي پهرين شروعات، TechCrunch50 2009 alum Stribe، جو هن جي نئين سان ڪو به واسطو ناهي - ان کان سواءِ هن جو اڳوڻو ڪوفائونڊر VC ڪمل زيروئل ٿيو، جنهن جي فرم Varsity VC co-led Kog's Seed round. پر شروعات جي عميق سطح جو فڪر سندس منفرد پس منظر مان نڪرندو آهي.
فرانس جي ايڪول پولي ٽيڪنڪ ۾ سولڊ اسٽيٽ فزڪس جو مطالعو ڪرڻ بعد، هو جارحاڻي سائبر سيڪيورٽي ۾ ڪم ڪرڻ لڳو - جنهن کي وائيٽ هيٽ هيڪنگ به چيو ويندو آهي. ڊيليلو جي مطابق، هن ذهنيت کي شڪل ڏني، هو هاڻي پنهنجي ٽيم کي اپنائڻ لاء حوصلا افزائي ڪري رهيو آهي. سائنس جي پاسي، "فزڪس جي قانونن کي سمجهڻ جي اها ذهنيت آهي، ۽ GPU جي قانونن کي انهن مان تمام گهڻو ٺاهڻ لاء."
جيئن ته هيڪنگ جي حوالي سان، DEF CON جي CTF ٽورنامينٽ ۾ چار ڀيرا فائنلسٽ چيو ته هن هن کي سيکاريو ته "ريورس-انجنيئر شين کي تمام گهٽ سطح تي - اسيمبلي جي ٻولي ۽ بائنري ڪوڊ تائين - اهو سمجهڻ لاءِ ته اهو ڪيئن ڪم ڪري ٿو، ۽ ان کي استعمال ڪرڻ جي ڪوشش ڪري مقصد حاصل ڪرڻ لاءِ جنهن لاءِ اهو لازمي طور تي ٺهيل نه هو.
هن طريقي جو منفي پاسو اهو آهي ته اهو تمام گهڻو هٿ تي ۽ وقت سازي آهي. "هر نئين GPU لاءِ، اسان ڪيترن ئي هفتن يا ان کان به مهينا وقف ڪنداسين، حقيقت ۾ تفصيلن کي ڳولڻ ۽ انهي هارڊويئر تي GPU انجنيئرنگ ريسرچ ڪرڻ لاءِ." 11 ماڻهن جي ٽيم سان، هي هڪ حد رکي ٿو چپس جي تعداد کي جنهن سان ڪوگ ڪم ڪري سگهي ٿو، گهٽ ۾ گهٽ مستقبل جي مستقبل لاءِ. گهڻي عرصي ۾، ڪوگ اميد رکي ٿو ته ان جي طريقيڪار کي ايجنٽ جي بنياد تي پائيپ لائينز ۾ فيڊ ڪرڻ جي اجازت ڏين ٿيون جيڪي ان کي وڌيڪ چپس ۽ ماڊل جي حمايت ڪن ٿيون. جيئن ته يورپ انهن ٻن محاذن تي پنهنجي صلاحيت پيدا ڪرڻ جي ڪوشش ڪري ٿو، اهو شروع ڪرڻ لاء خودمختاري tailwinds شامل ڪري سگهي ٿو، جيڪو اڳ ۾ ئي اسڪيل وي جي حمايت ڪئي وئي آهي ۽ فرانس جي Bpifrance ۽ فرانسيسي ٽيڪ 2030 جي پروگرام جي حمايت ڪئي وئي آهي.
هينئر تائين، جيتوڻيڪ، ڪوگ کي دنيا کي ثابت ڪرڻ جي ضرورت آهي ته ان جو طريقو LLMs تي ڪم ڪري ٿو. اهو پڻ وڌيڪ فنڊ محفوظ ڪرڻ لاء اهم هوندو. "هڪ دفعو اسان 10x جي رفتار تي اسان جي پهرين وڏي ماڊل تي عمل ڪيو آهي، جيڪو مان سمجهان ٿو سيپٽمبر ۾ هوندو، اسان شروع ڪرڻ جي قابل ٿي سگهنداسين گراهڪ جي ڪشش جو مظاهرو ۽ اتان کان، اسان جي سيريز اي کي وڌايو،" ڊيليلو چيو.
