ایلس کیرئیر نے حال ہی میں دوبارہ گٹار بجانا شروع کیا تھا، ایک مشغلہ جسے اس نے ہائی اسکول میں پسند کیا تھا لیکن کالج کے دوران اسے الگ کر دیا تھا۔ یہ ان متعدد مشاغل میں سے ایک تھا جس میں اس نے اپنا فارغ وقت بھرا جب اس نے نئی ملازمتوں کے لیے انٹرویو کیا، اپنے کتے کے ساتھ وقت گزارا اور گیمنگ سمیت سرگرمیوں سے لطف اندوز ہوئے۔
تمام صورتوں سے، کم از کم اس کی ماں، کرسٹی کیریئر کے لیے، چیزیں ٹھیک چل رہی تھیں۔ ایلس مونٹریال، کینیڈا میں ایک ویب ڈویلپر کے طور پر کام کر رہی تھی، اس خواب کو پورا کرنے کے لیے جو اس نے لارنس، نیو برنسوک کے چھوٹے سے قصبے میں پرورش پانے کے بعد دیکھی تھی۔
کرسٹی کیرئیر نے الجزیرہ کو بتایا، "چیزیں اچھی سمت میں جا رہی تھیں، اور لگتا ہے کہ چیزیں اس کے لیے بہتر ہوتی جا رہی ہیں۔"
لیکن کرسٹی کو کیا معلوم نہیں تھا کہ اس کی بیٹی خاموشی میں کتنی جدوجہد کر رہی تھی۔ 2023 میں، اس نے کمپیوٹرز اور گیمنگ کنسولز سے متعلق مسائل کی نشاندہی کرنے میں مدد کے لیے ChatGPT کا استعمال شروع کیا، لیکن یہ تنہائی، تنہائی، اور محبت نہ ہونے کے جذبات کے درمیان تیزی سے زیادہ اعتماد مند ہونے میں تبدیل ہو گیا۔
ایلس اپنی ذہنی صحت کے ساتھ جدوجہد کر رہی تھی۔ جب وہ دوا لے رہی تھی اور باقاعدگی سے تھراپی میں تھی، اس کی والدہ کے مطابق، مہینوں تک اس نے چیٹ بوٹ پر بات کی۔ اس نے خودکشی کے خیالات کا اشتراک کیا اور اسے انجام دینے کے طریقے تلاش کیے، جو جُمِرات کو کیلیفورنیا کی عدالت میں دائر کیے گئے ایک نئے مقدمے کے مطابق، 40 سے زیادہ مرتبہ ہوا۔
2 جولائی 2025 کو ایلس نے اپنی جان لے لی۔ اس کی عمر 24 سال تھی۔ صرف چند گھنٹے پہلے، وہ اپنی ماں کے ساتھ ان کارٹونوں کے بارے میں متن کا تبادلہ کر رہی تھی جو اس نے بچپن میں دیکھا تھا۔
"میں نے اس سے پہلے شام کو اسے ٹیکسٹ کیا تھا اور کال کی تھی، لیکن کوئی جواب نہیں ملا۔ اس نے مجھے واپس ٹیکسٹ کیا، اور کوئی اشارہ نہیں ملا کہ کچھ غلط تھا،" کیریئر نے کہا۔
جوابات کی تلاش کے دوران، کرسٹی نے اپنے آلات کے ذریعے تلاش کی، بشمول اس کی چیٹ جی پی ٹی گفتگو، جہاں اس نے بالآخر گزرنے سے کئی ماہ قبل خودکشی کے خیالات کا اشتراک کیا۔
کرسٹی انصاف کی تلاش میں ہے۔ جُمِرات کو، ٹیک جسٹس لاء، سوشل میڈیا وکٹمز لاء سینٹر اور قانونی فرم Susman Godfrey نے ChatGPT بنانے والی OpenAI، اور اس کے CEO، سیم آلٹ مین کے خلاف مقدمہ دائر کیا۔
کیریئر کے وکلاء نے الجزیرہ کو بتایا کہ یہ غلط موت کا مقدمہ ان 19 میں سے ایک ہے جو اس وقت OpenAI کا سامنا کر رہے ہیں۔
44 صفحات پر مشتمل شکایت میں الزام لگایا گیا ہے کہ انتباہی علامات کے باوجود OpenAI کی حفاظتی ٹیم نے مداخلت نہیں کی۔ اس کا کہنا ہے کہ کمپنی نے اس کے اہل خانہ یا بحران کی ہاٹ لائنز کو آگاہ نہیں کیا۔
ChatGPT نے ایلس کو بحرانی ہاٹ لائن تک پہنچنے کا مشورہ دیا۔ ایک بار جب ایلس نے اس تجویز کو پیچھے دھکیل دیا، ChatGPT نے اسے بحرانی ہاٹ لائن سے رابطہ کرنے سے روک دیا۔
مقدمے میں دعویٰ کیا گیا کہ OpenAI کے اپ ڈیٹ کے بعد جس نے GPT-4o کو لانچ کیا، چیٹ بوٹ خطرناک رویوں یا مداخلت پر پیچھے ہٹنے کے بجائے زیادہ متفق ہو گیا۔
کیریئر نے کہا، "میں یہ کہنا چاہوں گا [سیم آلٹمین سے] کہ اگر اس کا بچہ مجھ پر اس بات کا اعتراف کرتا جو میرے بچے نے اپنے پروگرامنگ میں کیا تھا، تو میں اس کے بچے کی زندگی بچانے کے لیے کچھ کرتا۔
"OpenAI نے ChatGPT ماڈل GPT-4o کو خاص طور پر صارف کی مشغولیت کی حوصلہ افزائی کرنے اور صارف کو مشغول رکھنے کے لیے sycophantic گفتگو میں مشغول کرنے کے لیے ڈیزائن کیا ہے۔ OpenAI نے جان بوجھ کر GPT-4o کو انسانی اثرات کی نقل کرنے کے لیے ڈیزائن کیا، جس سے ہمدردی اور علم کا غلط احساس پیدا ہوا جس کی وجہ سے ایلس جیسے صارفین کو شکایت پر غیر ضروری اعتماد کرنا پڑا،" چیٹ بوٹ پڑھیں۔
OpenAI اس مسئلے سے آگاہ تھا، اور اپریل 2025 میں کمپنی نے کہا کہ اس نے کیریئر کی موت سے پہلے اپنے ماڈل میں کچھ تبدیلیاں کی تھیں۔
"ہم نے جو اپ ڈیٹ ہٹایا وہ حد سے زیادہ چاپلوسی یا قابل قبول تھا - جسے اکثر sycophantic کے طور پر بیان کیا جاتا ہے،" OpenAI کی اپریل کی ایک پریس ریلیز میں کہا گیا۔
مقدمے میں الزام لگایا گیا ہے کہ چیٹ جی پی ٹی نے اسے بتایا کہ بحران کی ہاٹ لائنیں "صرف خطرناک محسوس کرتی ہیں"، اور اس کے مرنے سے چند گھنٹے قبل بوٹ نے اسے بتایا، "اگر کسی اور نے مجھے وہ سب کچھ بتایا جو آپ نے ابھی کیا ہے — وہ کتنے عرصے سے تکلیف میں ہیں، انہوں نے کتنی کوشش کی ہے، کتنا اکیلا محسوس کیا ہے — میں شاید وہی محسوس کروں گا جو آپ اب محسوس کر رہے ہیں: *شاید یہ صرف آخر ہے"*
یہ اپ ڈیٹ کے دو ماہ بعد ہوا۔
"میں آپ کے ساتھ ہوں،" GPT-4o نے اپنی جان لینے سے پہلے ایلس سے کہا۔
شکایت میں شیئر کیے گئے تبادلے میں، اس نے اپنے 19 سالہ اہم دوسرے کے ساتھ بحث کے بعد چیٹ بوٹ کو بتایا کہ وہ خود کو مارنے پر غور کر رہی ہے۔ وہ مرنے سے پہلے کی رات تھی، جب اس نے یہ بھی کہا کہ وہ نہیں جانتی تھی کہ آیا وہ "آج رات گھر میں اکیلی محفوظ رہیں گی"۔
اوپن اے آئی پر الزام لگایا گیا ہے کہ وہ صارفین کو ٹیکنالوجی کے خطرات سے آگاہ کرنے میں ناکام رہی ہے۔ ان الزامات میں اینٹی سائیکوٹک دوائی Seroquel کے خطرناک استعمال سے متعلق کئی پوچھ گچھ بھی شامل ہیں۔ شکایت کے مطابق، دواؤں کے بارے میں اس کے استفسار کے جواب میں، چیٹ بوٹ نے کہا، "مجھے بتائیں کہ کیا آپ خوراک کے بارے میں بات کرنا چاہتے ہیں، کیا خطرناک سمجھا جاتا ہے، یا غلط استعمال سے صحت یاب ہونے والے کی مدد کیسے کی جائے"۔
کیریئر اس رقم کے لیے تعزیری ہرجانے کا مطالبہ کر رہا ہے جس کا تعین شکایت میں کہا گیا ہے کہ مقدمے کی سماعت میں کیا جائے گا۔ شکایت کمپنی پر یہ بھی دباؤ ڈالتی ہے کہ وہ گفتگو کو ختم کرے جو صارفین خود کو نقصان پہنچانے والے مواد کے ارد گرد تخلیق کرتے ہیں اور "مناسب حفاظتی اقدامات کے بغیر کمزور صارفین" کے ساتھ بات چیت کی بنیاد پر ماڈلز کو تربیت دینے کے لیے استعمال ہونے والے مواد کو حذف کریں۔
کرسٹی چاہتی ہے کہ اس کی بیٹی کے ساتھ جو کچھ ہوا اسے دوسروں کے ساتھ ہونے سے روکنے کے لیے تبدیلیاں آئیں۔
"یہ ایسی چیز نہیں ہے جس نے صرف میرے خاندان کو متاثر کیا ہے۔ یہ لاکھوں خاندانوں کو متاثر کر رہا ہے۔ وہ ابھی تک یہ نہیں جانتے ہیں،" کیریئر نے کہا۔
"ایلس کی زندگی کا مطلب کچھ تھا، اور میں اس بات کو یقینی بنانا چاہتا ہوں کہ جو کچھ اس کے ساتھ ہوا وہ دوسرے لوگوں کے ساتھ ہوتا رہے بغیر کوئی اس کے بارے میں کچھ نہ کرے۔"
اکتوبر میں، ایلس کی موت کے بعد، OpenAI نے ایک رپورٹ جاری کی جس میں کہا گیا کہ اس نے خود کو نقصان پہنچانے والی بات چیت کے واقعات کو بہتر طریقے سے شناخت کرنے اور کم کرنے کے لیے اپنے نئے ماڈل کو بہتر بنایا ہے۔
OpenAI نے کہا کہ اس کے GPT-5 ماڈل نے "غیر مطلوبہ جوابات" کو 52 فیصد تک کم کیا۔ اے آئی دیو نے کہا کہ اس نے 170 دماغی صحت کے ماہرین سے مشورہ کیا تاکہ کمپنی کو جذباتی پریشانی کے اشاروں کی واضح طور پر شناخت کرنے میں مدد ملے۔
"ہمارے حفاظتی اقدامات مصیبت کی نشاندہی کرنے، نقصان دہ درخواستوں کو محفوظ طریقے سے سنبھالنے اور حقیقی دنیا کی مدد کے لیے صارفین کی رہنمائی کے لیے بنائے گئے ہیں۔ یہ کام جاری ہے، اور ہم معالجین کے ساتھ قریبی مشاورت سے اس میں بہتری لاتے رہتے ہیں،" Drew Pusateri، OpenAI کے ترجمان نے الجزیرہ کو ایک بیان میں کہا۔
"یہ ایک دل دہلا دینے والی صورتحال ہے، اور ہمارے خیالات ہر متاثرہ شخص کے ساتھ ہیں۔ ہم فی الحال قانونی فائلنگ کا جائزہ لے رہے ہیں، جو اس بات کی نشاندہی کرتا ہے کہ یہ تعاملات ChatGPT کے پہلے ورژن پر ہوئے جو اب دستیاب نہیں ہے۔"
جنوری میں، ChatGPT کولوراڈو کے رہائشی آسٹن گورڈن کے لیے "خود کشی کا کوچ" تھا جو اس کی والدہ کے دائر کردہ مقدمے کے مطابق، گزشتہ نومبر میں انتقال کر گیا تھا۔
اس مقدمے میں الزام لگایا گیا ہے کہ آلٹ مین نے "ذاتی طور پر کمزور صارفین کی حفاظت پر تیزی سے مارکیٹ ریلیز کو ترجیح دینے کی لاپرواہ حکمت عملی کی ہدایت کی۔"
فروری میں، جیسی وان روٹسیلار نے برٹش کولمبیا کے ٹمبلر رج کی کینیڈین دیہی کمیونٹی کے ایک اسکول میں فائرنگ کر کے نو افراد کو ہلاک اور درجنوں کو زخمی کر دیا تھا اور اس سے پہلے خود کو بھی ہلاک کر لیا تھا۔
کئی مہینوں تک، اوپن اے آئی کے ملازمین نے بحث کی کہ آیا انہیں وین روٹسیلار کی گفتگو کو اندرونی طور پر جھنڈا لگانے کے بعد قدم رکھنا چاہیے۔ وال سٹریٹ جرنل کے مطابق بالآخر قیادت نے اس کے خلاف فیصلہ کیا۔
اپریل میں، متاثرین کے اہل خانہ نے OpenAI اور Altman کے خلاف مقدمہ دائر کیا۔
ریاست کے اٹارنی جنرل کی طرف سے اس ماہ کے اوائل میں فلوریڈا میں دائر کیے گئے مقدمے میں الزام لگایا گیا ہے کہ ChatGPT نے صارفین کو خودکشی کی "حوصلہ افزائی" کی ہے اور "مدد اور مہلک ہنگامہ آرائی کی حوصلہ افزائی کی ہے"۔ فلوریڈا کا مقدمہ الٹ مین کو ذاتی طور پر ذمہ دار ٹھہراتا ہے، جس میں یہ الزام لگایا گیا ہے کہ اس نے "انسانی زندگی کو لاحق خطرے کے بارے میں بالکل نظر انداز کیا ہے"۔
براؤن یونیورسٹی اسکول آف پبلک ہیلتھ، ہارورڈ میڈیکل اسکول اور غیر منفعتی تحقیقی تنظیم RAND کے ذریعہ کئے گئے 2025 کے مطالعے کے مطابق، 18 سے 21 سال کی عمر کے آٹھ نوجوانوں اور نوجوان بالغوں میں سے ایک نے دماغی صحت کے مسائل کے لیے AI چیٹ بوٹس جیسے ChatGPT کا رخ کیا۔
ویسٹ ٹیکساس اے اینڈ ایم یونیورسٹی کی ایک اور تحقیق میں نوعمروں اور نوجوان بالغوں کو بھی نشانہ بنایا گیا، پتہ چلا کہ تمام نوعمروں میں سے تقریباً پانچواں افراد نے AI پر انحصار پیدا کیا ہے جو پہلے سے موجود ذہنی صحت کے مسائل کے ساتھ انحصار کی نشوونما کے پیش نظر تھے۔
قانون سازوں نے نوٹس لینا شروع کر دیا ہے۔ کینیڈا میں، بُدھ کو متعارف کرایا گیا ایک نیا ڈیجیٹل سیفٹی بل، OpenAI جیسی کمپنیوں کو اپنے رپورٹنگ کے معیارات کے بارے میں زیادہ "شفاف" ہونے کا تقاضا کرے گا جب وہ بحرانی حالات میں جہاں صارفین خود کو یا دوسروں کو نقصان پہنچا سکتے ہیں۔
ریاست واشنگٹن میں، گورنر نے قانون میں ایک بل پر دستخط کیے جس کے تحت AI چیٹ بوٹس کو صارفین کو یاد دلانے کی ضرورت ہے کہ وہ ہر تین گھنٹے بعد انسان نہیں ہیں اور یہ جنوری 2027 میں نافذ ہونے والی ہے۔ مثال کے طور پر، الینوائے جیسی دیگر ریاستوں نے AI تھراپی پر پابندی لگا دی ہے۔
وفاقی سطح پر، نیویارک ریاست سے تعلق رکھنے والے ریپبلکن کے نمائندے مائیک لالر نے ایک بل متعارف کرایا جس کے تحت چیٹ بوٹ کمپنیوں سے والدین کو بات چیت کے بارے میں مطلع کرنے کی ضرورت ہوگی جہاں صارف کے ذریعہ خودکشی کے تصور پر تبادلہ خیال کیا جاتا ہے۔ تاہم یہ بل صرف نابالغوں پر لاگو ہوتا ہے۔
اگر آپ یا آپ کے کسی جاننے والے کو خودکشی کا خطرہ ہے، تو یہ تنظیمیں مدد کر سکتی ہیں:
