AI ماڈلز کو دوسرے AI ماڈلز کے ساتھ تربیت دینا neolabs کے لیے ایک بہت ہی مقبول مقصد بن گیا ہے - اور اب، Anthropic کے فیلو پروگرام کے ایک محقق نے ہمیں ابتدائی نظر دی ہے کہ یہ عملی طور پر کیسا لگتا ہے۔
جمعہ کو، Anthropic نے ایک نیا مقالہ شائع کیا جس کا عنوان تھا "خودکار محققین قابل اعتماد طریقے سے الائنمنٹ کی ناکامیوں کو کم کر سکتے ہیں"، جس میں بتایا گیا ہے کہ کس طرح AI سسٹمز الائنمنٹ بینچ مارکس کے سیٹ پر ماڈل کی کارکردگی کو قابل اعتماد طریقے سے بہتر بنا سکتے ہیں۔ جب مخصوص غلط طریقے سے رویوں کے لیے 10 بینچ مارکس دیے گئے، تو خودکار نظام مجموعی کارکردگی کو کم کیے بغیر ہر ایک پر کارکردگی کو بہتر بنانے کے قابل تھے۔
انتھروپک ساتھی چن یوہ-ہان کی قیادت میں، یہ نظام تحقیق کے لیے روایتی انداز کو نقل کرتا ہے۔ ہر خودکار نظام دستیاب لٹریچر کو تلاش کرتا ہے، ایک طریقہ تجویز کرتا ہے، اور 30 منٹ تک اس طریقہ کو استعمال کرتے ہوئے ماڈل کو تربیت دیتا ہے، آہستہ آہستہ کئی تکرار پر بینچ مارک کو بڑھاتا ہے۔ مؤثر طریقے محفوظ کیے جاتے ہیں جب کہ غیر موثر طریقوں کو ضائع کر دیا جاتا ہے، جس سے نظام تیزی سے اور بڑے پیمانے پر کام کر سکتا ہے۔
"مجموعی طور پر، یہ نتائج ابتدائی شواہد فراہم کرتے ہیں کہ تربیت کے بعد خودکار سیدھ میں آنے والی تربیت قریبی مدت میں عملی ہو سکتی ہے،" مقالہ پڑھتا ہے۔
کاغذ بار بار خود کو بہتر بنانے کی طرف ایک قدم ہے، جسے بہت سے لوگ AI کی ترقی کے اگلے اہم قدم کے طور پر دیکھتے ہیں۔ اگر ماڈلز اپنی صف بندی کی تربیت کو بہتر بنا سکتے ہیں، تو یہ قابل فہم ہے کہ وہ تربیتی طریقوں کو زیادہ وسیع پیمانے پر بہتر بنا سکتے ہیں - اس وقت، انسانی AI محققین جلد ہی متروک ہو سکتے ہیں۔
کاغذ اس خیال کو حل کرنے میں شرم محسوس نہیں کرتا ہے، واضح طور پر آٹومیٹڈ الائنمنٹ ریسرچر (AAR) کا اس کے انسانی مساوی سے موازنہ کرتا ہے۔ "AAR کا بہترین طریقہ اوسطاً چھ گھنٹے کے اندر تجربہ کار انسانوں کی تجویز کو مات دیتا ہے،" پیپر پڑھتا ہے۔ "انسانی رہنمائی شدہ تحقیقی ہدایات مضبوط کارکردگی کا باعث نہیں بنتی ہیں۔"
یہاں تک کہ لاگت کا موازنہ بھی ہے، اگر کسی کو یقین نہ آیا ہو۔ "ایک AAR کی لاگت تقریباً $4 فی گھنٹہ API کے تخمینہ کے مقابلے میں $150 فی گھنٹہ ہے جو ہم اپنے انسانی محققین کو ادا کرتے ہیں۔"
منصفانہ طور پر، مقالہ اس نقطہ نظر کی چند حدود کی نشاندہی کرتا ہے۔ خودکار نظام صرف اس حد تک کام کرتا ہے جب بینچ مارک اصل صف بندی کے اہداف کی عکاسی کرتے ہیں، اور پھر بھی ان بینچ مارکس کو قائم کرنے اور برقرار رکھنے میں اہم کام کرنا ہے - اس لٹریچر کو برقرار رکھنے اور پھیلانے کا ذکر نہیں کرنا جس سے خودکار محققین تیار کیے گئے ہیں۔
