OpenAI جو نئون Astra ماڊل هڪ استدلال ٽيڪنڪ استعمال ڪندو جنهن کي ”بار بار گہرائي“ سڏيو ويندو آهي جيڪا ان کي ترتيب واري سوچ کان ٻاهر هلائڻ جي اجازت ڏئي ٿي جيڪا اڪثر استدلال واري ماڊل کي خاص ڪري ٿي ، انفارميشن ا Tuesdayاري تي ٻڌايو. هي ٽيڪنڪ، جنهن کي ”مبهم تکرار“ پڻ سڏيو ويندو آهي، ممڪن آهي ته ماڊل جي سوچ جي زنجير کي مانيٽر ڪرڻ وڌيڪ مشڪل بڻائي ڇڏي - ۽ انهي کي AI حفاظتي ماهرن حيران ڪيو آهي.
جڏهن ته ايسٽرا جي ٽيڪنالاجي جو استعمال مبينا طور تي محدود آهي، ان جي ابتڙ اڃا تائين AI حفاظت جي ماهرن جي وچ ۾ اهم خدشات پيدا ڪيو آهي.
”مان ان رپورٽنگ کان تمام گهڻو پريشان آهيان ته ايسٽرا مبهم ورهاڱي کي استعمال ڪري ٿو ،“ ريڊ ووڊ جي سي اي او بڪ شيليجرس هڪ پوسٽ ۾ لکيو خبر ٽوڙڻ کانپوءِ. "مون کي خبر ناهي ته ڇا ايسٽرا اڳئين ماڊلز جي ڀيٽ ۾ تمام گهٽ CoT مانيٽر لائق آهي. پر جيڪڏهن OpenAI هن ٽيڪنڪ کي اڳتي وڌائيندو، انهن وٽ اهو اختيار هوندو ته وڏي پئماني تي بار بار وڌائڻ ۽ مڪمل طور تي CoT نگراني کي تباهه ڪري."
ڊگھي وقت AI حفاظت جي وڪيل Zvi Mowshowitz پڻ وزن ورتو ۽ لکيو ته قانون شايد ضروري هوندا ته اي اي ليبز جي وچ ۾ ”هيٺيان نسل“ کي روڪڻ لاءِ.
"ٽيڪنيڪ باهه سان کيڏي رهي آهي، هڪ ممنوع کي خطرو ڪري رهيو آهي ته OpenAI ۽ اينٿراپڪ اهو قائم ڪرڻ لاءِ وڙهندا آهن ته اسان سخت محنت ڪريون ٿا چين جي سوچ جي وفاداري ۽ نگراني جي حد تائين برقرار رکڻ لاءِ ، جيستائين اسان ڪري سگهون ،" موشووز لکيو. "اهڙين ٽيڪنالاجي جو وڌيڪ شديد استعمال شايد نگراني کي نقصان پهچائيندو."
عام حالتن ۾، هڪ استدلال ماڊل جي سوچ جو سلسلو ماڊل پاران کنيل قدمن کي مهيا ڪري ٿو جيئن اهو مسئلو حل ڪرڻ جي ڪوشش ڪري ٿو. جڏهن ته نمائندگي ناممڪن آهي، اهو اڃا تائين هڪ قيمتي اوزار طور ڪم ڪري ٿو بدانتظامي يا غلطي جي نگراني لاء. OpenAI جي تازي روگ ايجنٽ جي سرگرمي جي صورت ۾، زنجير جي سوچ جا رڪارڊ هڪ اهم اوزار هئا انهي کي ڇڪڻ ۾ ڇو ته ايجنٽ انهن طريقي سان عمل ڪيو.
مبهم ورهاڱي ۾، ماڊل هڪ گهٽ لڪير وارو طريقو وٺندو آهي، ساڳئي سوال کي ڪيترن ئي ڀيرا لوپ ۾ پروسيس ڪري ٿو. نتيجو ٿورڙو جائز نشان ڇڏي ٿو، مؤثر طريقي سان هڪ روايتي زنجير-آف-ٿٽ رڪارڊ جي طرف قدم.
خاص طور تي، ايسٽرا جي ٽيڪنڪ جو استعمال محدود نظر اچي ٿو. ماڊل جي سوچ جو سلسلو اڃا تائين جائز ٿيڻ جي توقع ڪئي وئي آهي، ۽ ڪمپني ڪنهن به تجويز جي خلاف پوئتي ڌڪي ڇڏيو ته اهو "نيراليز" ڏانهن منتقل ٿيندو. OpenAI اڳ ۾ ئي اعلان ڪري چڪو آهي منصوبن جي وسيع زنجير-جي-سوچ مانيٽرنگ سسٽم ان جي اڳتي وڌڻ واري حفاظت جي منصوبن جي حصي جي طور تي.
ايڪس تي هڪ پوسٽ ۾، اوپن اي آءِ جي چيف سائنسدان جيڪب پيچوڪي زور ڏنو ليب جي عزم تي غور جي جائز زنجيرن لاءِ. "OpenAI اسان جي پهرين دليلن جي ماڊل کان وٺي چين جي سوچ جي نگراني کي محفوظ ڪرڻ ۽ استعمال ڪرڻ لاء ڪم ڪيو آهي،" Pachocki لکيو. "اهو اسان جي موجوده تحقيقي پروگرام جو بنيادي مقصد آهي.
سڀئي AI ماڊل ڪجهه مقدار ۾ مبهم استدلال ڪندا آهن، ۽ ڪجهه محقق هڪ ماڊل جي استدلال جي سڌي نمائندگي جي طور تي زنجير-آف-ٿٽ لاگز وٺندا آهن. اڃا تائين، اهي خبرداريون ان خدشن کي ختم نه ڪن ٿيون ته مبهم ورهاڱي شايد AI استدلال کي مانيٽر ڪرڻ ۾ مشڪل بڻائي ٿي، خاص طور تي جيئن ته اهو مختلف ماڊلن ۾ استعمال ۾ وڌندو آهي. هڪ فالو اپ رپورٽ ۾ اربع جي صبح، انفارميشن ٻڌايو ته ٻئي انٿروپڪ ۽ گوگل ڊيپ مائنڊ اڳ ۾ ئي ٽيڪنڪ تي بحث ڪري رهيا هئا.
خبرن جي جواب ۾ هڪ پوسٽ ۾، ريڊ ووڊ ريسرچ جي چيف سائنسدان ريان گرين بلٽ چيو ته مبهم استدلال آساني سان روايتي زنجير جي سوچ واري استدلال کان وڌيڪ تيز ٿي سگهي ٿو، مؤثر طريقي سان سڀني دليلن کي نظر انداز ڪندڙ چينلن تان هٽائي ٿو.
”منهنجو سڀ کان وڏو خدشو اهو آهي ته هتان کان هڪ قدرتي ترقي ۾ مبهم استدلال کي ان نقطي تائين وڌائڻ ۾ شامل هوندو جتي ماڊل مڪمل طور تي يا تقريبن مڪمل طور تي پوشيده خلا ۾ سبب بڻجندو آهي ،“ گرين بلٽ لکيو. "مون کي اميد آهي ته اهو تمام گهڻي دير نه آهي ته سڀ کان وڌيڪ فن تعمير کان بچڻ لاء ۽ OpenAI هتي بند ٿي ويندي."
