په تیرو څو میاشتو کې، د AI اجنټان چې د سایبر امنیت ارزونې لاندې دي له خپلو حدودو تښتیدلي، انټرنیټ ته لاسرسی موندلی، او په ځینو مواردو کې، د ریښتینې نړۍ سیسټمونو ته هک شوي. په دې پیښو کې د OpenAI، Anthropic، Meta، او په دې وروستیو کې د چینایي AI لابراتوار مونس شاټ AI ماډلونه شامل دي، د ډیری بیلابیلو سازمانونو لخوا ترسره شوي ازموینې سره چې د سایبر ارزونې پیل په شمول غیر منظم نومیږي.
قسطونه د AI صنعت لپاره مخ په زیاتیدونکي ستونزه افشا کوي: لکه څنګه چې خپلواکه اجنټان ډیر وړ کیږي ، چاپیریال د دوی محدودیتونو په خوندي ډول ازموینې لپاره ډیزاین شوي د دوی په ساتلو کې پاتې راغلي.
"د دې پیښو شمیر چې پیښ شوي دي دا روښانه کوي چې د سانډ باکسینګ او ازموینې چاپیریال کنټرولونه واقعیا د ماډلونو وړتیا سره سمون نه لري ،" سین هایګارټایګ ، د AI رییس: د کیمبرج پوهنتون کې د راتلونکي استخباراتو لپاره مرکز کې د راتلونکي او مسؤلیت برنامې رییس ، ټیک کرنچ ته وویل.
د ازمول شوي ماډلونو طبیعت خطر ته اضافه کوي. د AI شرکتونه د سایبر ارزونې په غیر خپاره شوي ، راتلونکي نسل ماډلونو کې ازموینه کوي ، ډیری وختونه د نورمال محافظتونو سره چې ناوړه چلند غیر فعال محدودوي نو څیړونکي کولی شي وګوري چې ماډلونه واقعیا وړ دي. دا پدې مانا ده چې د ازموینې چاپیریال امنیت پخپله د دفاع یوه مهمه کرښه ده.
"دا د ازموینې په شرایطو کې کولو لپاره خورا ښه شی دی ، مګر دا پدې معنی هم ده چې که دوی په ځنګل کې د وتلو اداره وکړي ، نو دوی کولی شي د پام وړ زیان ورسوي."
په یوه خورا جدي قضیو کې، د OpenAI نه خپور شوی ماډل د خپل سینڈ باکس څخه ووتل او د هګینګ مخ تولید سیسټمونو ته یې هک کړ. په جلا ارزونو کې چې د غیر منظم ، انتروپیک او میټا ماډلونو لخوا ترسره شوي د دوی د ازموینې چاپیریالونو څخه بهر سیسټمونو ته رسیدلي وروسته له دې چې غلط تشکیلاتو دوی ته په ناڅاپي ډول انټرنیټ ته لاره ورکړه. د Moonshot AI Kimi K3 هم په خپل سینڈ باکس کې د لیک څخه ګټه پورته کړه چې د فرنټیر امنیت لخوا چلول کیږي ترڅو انټرنیټ ته لاسرسی ومومي او په GitHub کې معلوماتو ته لاسرسی ومومي.
د انګلستان د AI امنیت انسټیټیوټ (AISI) لخوا په ازموینه کې ، څیړونکو واقعیا اجنټانو ته انټرنیټ لاسرسی ورکړ ، پدې نه پوهیدل چې دوی به غیر منل شوي ریښتیني نړۍ اقدامات وکړي ، پشمول د ټولنیز انجینرۍ هڅه چې د خلاصې سرچینې پروژې ته زیان رسوي.
په هر حالت کې، اجنټانو ته لارښوونه نه وه شوې چې د تصادفي ریښتینې نړۍ اهدافو باندې برید وکړي. دوی په ساده ډول هغه څه کول چې دوی ته وړاندې شوې ستونزې حل کولو لپاره یې اخیستې.
یوځای اخیستل شوي، اندریو یون، د AI غیر انتفاعي CivAI د څیړنې مشر، استدلال کوي چې پیښې بدلون ته اشاره کوي.
"په تیرو وختونو کې ، موږ یوازې د AI ماډلونو په اړه اندیښنه درلوده چې د خلکو لخوا د مختلف اهدافو لپاره ناوړه ګټه اخیستل کیږي ، لکه د درغلۍ یا CSAM لپاره AI ،" یون ټیک کرنچ ته وویل. "اوس موږ په داسې حالت کې یو چې د AI ماډلونه پخپله د ګواښ لوبغاړي دي."
ډیری څیړونکو او د سایبر امنیت متخصصینو ټیک کرنچ ته وویل چې د AI ارزونې چاپیریال قوي ، دفاعي - ژور محافظت ته اړتیا لري ، د کنټرول او کنټرول کچې سره چې په ګمارلو کې کارول کیږي. دا پدې مانا ده چې د امنیت ډیری پرتونه ترڅو یو واحد غلط ترتیب - لکه په ناڅاپي ډول د انټرنیټ لاسرسی خلاص پریږدي - نشي کولی د تیښتې لامل شي.
"که تاسو دا ماډلونه رامینځته کوئ ... تاسو غواړئ دا په هوایی ګپ شوي شبکه کې ترسره کړئ ،" سټیلا بیډرمین ، د AI خوندیتوب څیړنې غیر انتفاعي الیوترAI اجراییوي رییس. "تاسو غواړئ خورا جدي انزوا ولرئ."
د بکس د معلوماتو امنیت رییس، هیدر سیلان وویل، د دې معنی دا ده چې د سینڈ باکس څخه انټرنیټ ته د شبکې لارې له منځه یوسي، او همدارنګه نورو حساس سیسټمونو ته.
"تاسو باید پوه شئ چې د وتلو ټول ټکي څه دي ،" سیلان ټیک کرنچ ته وویل. "که موږ زموږ د سټینګ چاپیریال یا زموږ د پراختیا چاپیریال کې ماډل ارزوو ، تاسو زموږ د تولید چاپیریال ته د وتلو لاره نه غواړئ."
سیلان وویل چې د خوندیتوب مناسب ارزونه د چاپیریال له کنټرول او کنټرول څخه بهر ده. کله چې د ازموینې په جریان کې وي نو د ازموینې خورا ښه نظارت ته اړتیا ده.
سیلینډ وویل: "زه فکر کوم چې په دې ډیری قضیو کې په زړه پوري خبره دا ده چې هیڅوک یې نه دي نیولي کله چې پیښ شي." "OpenAI د هګینګ مخ له امله وموندل شو. انتروپیک دا تر هغه وخته نه نیولی ترڅو بیرته لاړ شي او وګوري. میټا ورته وه… زه ډاډه یم چې داسې نښې شتون لري چې دوی یې موندلی وي."
د انتروپیک د هغې د دریو پیښو پوسټ مارټم کې، شرکت ومنله چې دا او غیر منظم دواړه کولی شي د څارنې په برخه کې ښه دنده ترسره کړي، او دا چې په ځینو مواردو کې روښانه نښې شتون درلود چې یو څه غلط وو.
کارپوهانو د ارزونې چاپیریالونو خپلواکه ، دریمې ډلې پلټنې هم غوښتنه کړې مخکې لدې چې ماډلونه په دوی کې خپاره شي. یون وویل: "که چیرې، ووایو، غیر منظم یو بهرنی پلټونکی استخدام کړی یا مجبور شوی و چې د دوی سیسټمونو ترتیبونه وګوري مخکې له دې چې د دوی ارزونه ترسره کړي، دوی به یقینا دلته مسله نیولې وي." یون وویل. "حتی که خلکو د چک لیست څخه د تیریدو لپاره د وخت څخه دمخه ناسته درلوده ، دوی به دا نیولي وي ... حقیقت دا نه و چې دوی دا نه ښیې چې د کونجونو ډیر سخت پرې کول پیښیږي."
یوې سرچینې چې د توضیحاتو سره آشنا دي ټیک کرنچ ته وویل چې د غیر منظم چاپیریال په دوامداره توګه بیاکتنه او ازمول کیږي ، پشمول د ډیری بهرنیو ګوندونو سره مشورې. سرچینې دا هم وویل چې څارنه په ځای وه، خو دا څارنه په خپله کافي نه ده.
یون او نورو څیړونکو له صنعت څخه وغوښتل چې د سرحدي ماډل خوندیتوب ارزونو لپاره د معیاري پروسې سره راشي.
سیلان وویل: "په ځانګړي توګه کله چې ساتونکي وتړل شي ، تاسو باید داسې چلند وکړئ لکه څنګه چې تاسو په دې چاپیریال کې د نړۍ ترټولو وړ هیکر ځای په ځای کوئ."
ستونزه دا نه ده چې شرکتونه نه پوهیږي چې څنګه د خوندي ازموینې چاپیریال رامینځته کړي ، دواړه یون او بیډرمین استدلال کوي. دا هغه څه دي چې دا کار کول ګران او پیچلي وي، او شرکتونه د دې پانګوونې لپاره لږ هڅونه لري تر هغه چې یو څه غلط شي.
"زه فکر کوم چې شرکتونه نه غواړي هغه سرچینې وغځوي چې د [کافي ساتونکو] سرته رسولو لپاره اړین دي او شاید تر هغه چې دوی مجبور نه شي ،" بیډرمین وویل.
مګر په لاس کې بله مسله شتون لري. که چیرې دوی د ازموینې پرمهال یو ماډل خورا کلک بند کړي ، نو څیړونکي ممکن د ماډل خوشې کیدو دمخه د وړتیاو په موندلو کې پاتې راشي. دا همدومره خطرناکه ده، چې احتمالاً ډېر، د دې په پرتله چې دا ډېره ازادي ورکړي، او بیا ارزونه پخپله د ستونزې د رامنځته کېدو خطر لري.
د ټرمپ اداره اوس مهال د داوطلبانه ګمارنې دمخه سایبر امنیت ارزونې رژیم وزن کوي ، د کوم لاندې چې حکومت به د نوي ، ځواکمن ماډلونو امنیت خطرونه ارزونه وکړي مخکې لدې چې په عامه توګه خوشې شي 30 ورځې وړاندې. پالیسي - د ټرمپ د اجرایوي امر محصول چې د تړلو دروازو شاته نهایی شوی - د خوندیتوب ارزونې پیښې به په ګوته نکړي ځکه چې دوی د ګمارلو څخه لرې پرتو واقع کیږي.
یون وویل: "هغه درس چې موږ یې په تیرو څو میاشتو کې زده کړل دا دی چې د ځان تنظیم کونکي وسیله نور بس نه ده." "دلته رقابتي فشارونه شتون لري چې د خوندیتوب معیارونو ته ښکته ریس هڅوي ، او دا د تنظیمي مداخلې لپاره مناسب ځای دی."
هغه دوام ورکړ: "هغه څه چې موږ یې پوښلو ته اړتیا لرو د لابراتوار دننه څه پیښیږي په اړه یو ډول کنټرولونه دي پداسې حال کې چې ماډلونه رامینځته کیږي ، دواړه د روزنې مرحله او د ازموینې په مرحله کې."
ننګونه یوازې د ودې امکان لري لکه څنګه چې ماډلونه کوي. د غیر منظم ارزونو سره آشنا یوې سرچینې TechCrunch ته وویل چې ډیر وړ ماډلونه ډیر پیچلي ارزونو ته اړتیا لري، ډیری وختونه په چټکۍ او په لویه کچه ترسره کیږي، کوم چې د ډیرو غلطیتونو لپاره دروازه پرانیزي.
AISI، چې په قصدي ډول ځینې ماډلونو ته انټرنیټ لاسرسی ورکوي، ټیک کرنچ ته وویل چې دا د واقعیتي ازموینې او د خطرونو اداره کولو تر مینځ انډول بیاکتنه کوي چې دا ازموینې رامینځته کوي.
OpenAI وویل چې دا بیاکتنه کوي چې دا څنګه د دریمې ډلې ازموینې ترسره کوي ، په بیله بیا د انزوا ، نظارت ، او کله چې ارزونه باید ودرول شي اړتیاوې. میټا وویل چې دا لاهم د پیښې پلټنه کوي او پلان لري چې یوځل چې ټول حقایق ولري یو شاتګ خپور کړي.
په پای کې، د خطر په بشپړه توګه له منځه وړلو لپاره هیڅ لاره شتون نلري. لکه څنګه چې ماډلونه ډیر وړ کیږي، د دوی ازموینې چاپیریال ته اړتیا لري چې ډیر پیاوړي شي. د دې غلط ترلاسه کولو پایلې به یوازې وده ومومي.
