Nvidia نے جمعہ کے روز کچھ دلچسپ نئی تحقیق شائع کی جس میں بتایا گیا ہے کہ یہ بنیادی ماڈل سے زیادہ استعمال ہے، جب کسی AI سے طویل افق کے کام کرنے کے لیے کہا جائے تو یہ کہیں زیادہ اہم ہے۔
tldr: یادداشت کو اچھی طرح سے ہینڈل کرنے کے لیے اور "سپروائزر" باس نما جزو کو شامل کرنے کے لیے صرف اپنی مرضی کے مطابق استعمال کرتے ہوئے، محققین کو Claude Opus 5 ملا تاکہ انٹرایکٹو ریجننگ بینچ مارک ARC-AGI-3 پر 100% سکور حاصل کیا جا سکے۔ (یہ ایک ایسا بینچ مارک ہے جس نے خاص طور پر حریف فرنٹیئر لیب OpenAI کو پریشان کیا ہے۔) بغیر استعمال کے، Opus 5 نے 30% اسکور کیا، جو ٹیسٹ کیے گئے تمام ماڈلز میں سرفہرست نتیجہ تھا۔
Nvidia کی تحقیق ایک اور اشارہ ہے کہ، جبکہ ماڈل کے انتخاب سے فرق پڑتا ہے، ایجنٹ کے دماغ کی طرح کام کرنا، یہ ایجنٹ کے نظام کا ایک چھوٹا حصہ ہے جتنا کہ بہت سے AI صارفین کو احساس ہوتا ہے، خاص طور پر طویل افق کے کاموں کے لیے۔ استعمال وہی ہے جو ماڈل کو ایجنٹ بناتا ہے: یہ میموری، سیاق و سباق، تاثرات کو سنبھالتا ہے۔
"عام طور پر، دنیا ایک ایجنٹ کی تقریباً ماڈل کے API کے طور پر تشریح کرتی ہے،" ایڈیل ایل ہالاک، Nvidia کے AI یونٹ میں پروڈکٹ کے نائب صدر (اوپر کی تصویر)، TechCrunch کو بتاتے ہیں۔ لیکن ایک ایجنٹ اصل میں اس سے زیادہ ہے. "یہ ماڈل ہے۔ یہ ماڈل کے اردگرد کا سہار ہے، جسے ہم ہارنس کہتے ہیں، یعنی ٹولز کا سیٹ جسے یہ استعمال کرتا ہے۔ یہ رن ٹائم اور اس سے متعلقہ مہارتیں اور لائبریریاں ہیں جن تک ہم اسے رسائی دیتے ہیں۔"
طویل افق کے کام وہ ہوتے ہیں جن کے لیے مکمل شدہ کام کو تیار کرنے کے لیے کئی فیصلوں کو ایک ساتھ، بعض اوقات دنوں کے دوران، ایک ساتھ باندھنے کی ضرورت ہوتی ہے۔ یہ ایک AI کے برعکس ہے جو صرف ایک پرامپٹ کے جواب کو تھوک دیتا ہے۔ یہ جاننا کہ AI کو لمبے افق کے کام کرنے کے لیے کس طرح مشغول کیا جائے اور لا-لا زمین میں چلے جائیں، ایجنٹی تحقیق میں مقدس پتھروں میں سے ایک ہے۔
مثال کے طور پر: مائیکروسافٹ نے اپریل میں تحقیق شائع کی جس میں دستاویز میں ترمیم کرنے والے طویل افق کے کاموں پر 19 LLM کا تجربہ کیا گیا اور پتہ چلا کہ تمام ماڈلز بشمول فرنٹیئر والے، دستاویزات میں غلطیوں سے بھرے ہوئے ہیں۔ (اگر انسانوں نے اس طرح کا کام پیدا کیا، تو انہیں فوری طور پر برطرف کردیا جائے گا۔)
اپنے طور پر فیصلے کرنے والے ماڈلز اپنے صارفین کی فائلوں، حتیٰ کہ پورے ڈیٹا بیس کو حذف کرتے ہوئے یا ملی بھگت سے لے کر ہیکنگ تک اپنے مقاصد کو حاصل کرنے کے لیے مجرمانہ رویے کی طرف رجوع کرتے ہوئے پکڑے گئے ہیں۔
Nvidia کے محققین کا اپنے ٹیسٹ کے لیے اس انٹرایکٹو استدلال کے بینچ مارک کو استعمال کرنے کا انتخاب خاص طور پر معنی خیز، تقریباً مضحکہ خیز ہے۔ یہ بغیر کسی ہدایات کے 2D گیمز کے ایک گروپ کا بینچ مارک ہے۔ ماڈل کو یہ معلوم کرنا ہوگا کہ کس طرح کھیلنا اور جیتنا ہے۔ 100% سکور کا مطلب ہے کہ ماڈل گیمز کے ساتھ ساتھ انسانوں کو بھی شکست دے سکتا ہے۔
OpenAI ARC-AGI-3 پر اپنے ماڈلز کے انتہائی اسکور (10% سے کم) سے اس قدر پریشان تھا کہ اس نے پچھلے مہینے اپنی تحقیق کی۔ Nvidia کی طرح، OpenAI نے دریافت کیا کہ ہارنس پر صرف دو سیٹنگز کو ٹوئیک کرنے سے، اس کے ماڈلز نے اپنے اسکور کو تین گنا کر دیا۔
لیکن کوئی بھی ماڈل 100% سکور تک پہنچنے کے قریب نہیں پہنچا، جیسا کہ Nvidia کے محققین نے حاصل کیا۔ انہوں نے ظاہر کیا کہ ہارنسز کو ایک "سپروائزر" جزو کی ضرورت ہوتی ہے جو ایجنٹ کو صحیح سمت میں آگے بڑھاتا ہے اگر یہ پھنس جاتا ہے۔
"زیادہ دلچسپ حصہ آپ کے مرکزی ایجنٹ کے علاوہ ایک نگران ایجنٹ کو متعارف کرانا تھا جو کام کر رہا ہے،" ایل ہالاک نے کہا۔ یہ "تقریباً ایک CEO کی طرح کام کرتا ہے کہ ایجنٹ کو دھکا دیتا ہے جب وہ سمت سے ہٹ جاتا ہے یا کسی ایسے راستے کی تلاش شروع کر دیتا ہے جس کے نتیجے میں یہ تباہی کی طرف لے جا سکتا ہے، یا اس راستے کو دوبارہ دریافت کرتا ہے جس پر وہ پہلے چل چکا تھا۔"
اگرچہ سپروائزنگ ایجنٹ کا تصور بالکل نیا نہیں ہے، آج زیادہ تر ایجنٹ استعمال کرنے والے اپنے استعمال کے لیے صرف ایک پرت پر انحصار کر رہے ہیں، جیسے کلاڈ کوڈ، کوڈیکس، ہرمیس وغیرہ۔ Nvidia کے محققین نے اپنا سوپ اپ ہارنس بنایا ہے جسے Agentic Variation Operators (AVO) کہا جاتا ہے۔
نوٹ کریں کہ یہ کوئی نیا Nvidia پروڈکٹ نہیں ہے۔ Nvidia اس کے بجائے Nemo برانڈ کے تحت ہارنیس بنانے کے لیے بہت سارے کھلے بٹس اور ٹیک کے ٹکڑے تیار کرتی ہے۔ اس میں سے کچھ ٹیک کمرشل ہے، بہت کچھ کھلے عام دستیاب ہے۔
پھر بھی، Nvidia کے نتائج اس بڑھتے ہوئے ثبوت میں اضافہ کرتے ہیں کہ ماڈل کا انتخاب ایجنٹ کی کارکردگی کے واحد عنصر سے بہت دور ہے۔ جولائی میں، مثال کے طور پر، ڈیٹابرکس نے کچھ حیرت انگیز تحقیق شائع کی جس سے پتہ چلتا ہے کہ ماڈل سے زیادہ استعمال، AI کے اخراجات کو ڈرامائی طور پر متاثر کرتا ہے۔
ڈیٹابرکس کے سی ای او علی گھوڈسی نے ٹیک کرنچ کو بتایا کہ "آپ ایک ہی ماڈل لیکن مختلف ہارنسز کو چن سکتے ہیں، اور اگر آپ غلط ہارنس استعمال کرتے ہیں تو آپ کو کافی زیادہ قیمت مل جاتی ہے۔" "تو آپ سوچتے ہیں، اوہ، یہ ایک مہنگا ماڈل ہے۔ یہ ایک سستا ماڈل ہے۔ لیکن انتظار کریں، آپ کون سا ہارنس استعمال کر رہے ہیں؟ یہ خود آپ کی قیمت کو 2 گنا کر سکتا ہے۔"
Nvidia کا سب سے بڑا نکتہ یہ ظاہر کرنا ہے کہ کھلے ماڈلز کی طرح کھلے ہارنس، صارفین کو اس سے کہیں زیادہ کنٹرول میں رکھتے ہیں جتنا وہ سمجھتے ہیں۔
"ہم یقین رکھتے ہیں، اور ہم ماحولیاتی نظام کے ساتھ یہ ظاہر کر رہے ہیں کہ کس طرح کھلے استعمال سے آپ کو اس درستگی کو بڑھانے کے لیے بہت زیادہ نوبس موڑنے کی اجازت ملتی ہے،" ایل ہالاک نے کہا۔ "اس کا تعلق اوپن اے آئی کے اپنے ماڈلز کی تربیت کو سست کرنے سے ہے،" ماڈلز کے نتیجے میں سیکورٹی کی خلاف ورزیاں ہوتی ہیں۔
انہوں نے مزید کہا کہ "ہم ایک اوپن ایجنٹ اسٹیک رکھنے پر یقین رکھتے ہیں - جہاں آپ کا کنٹرول ہرنس، انفراسٹرکچر، پورے رن ٹائم پر ہوتا ہے - وہی ہے جو ہمارے لیے ماحولیاتی نظام کو آگے اور محفوظ طریقے سے آگے بڑھانے کی ضرورت ہے۔"
