اخراج پژوهشگران ایمنی OpenAI؛ سه پژوهشگر اتهامات را رد کردند و از فضای ترس گفتند
سه پژوهشگر ایمنی OpenAI که هفتهی گذشته از این شرکت اخراج شدند، در یک نامهی سرگشاده اتهامات شرکت علیه خود را رد کردهاند و هشدار دادهاند که این اخراجها فضای ترس و سکوت را در میان کارکنان ایجاد کرده است. جاسمین وانگ، تومک کوربک و میکیتا بالسنی سه پژوهشگری هستند که OpenAI آنها را به «دسترسی و مدیریت اطلاعات حساس شرکت» در تضاد با سیاستهای داخلی متهم کرده است. ماجرای اخراج پژوهشگران ایمنی OpenAI حالا به یکی از جنجالیترین بحثهای این روزهای صنعت هوش مصنوعی تبدیل شده است.
OpenAI چه میگوید؟
سخنگوی OpenAI گفته که یک تحقیق داخلی، «الگویی از سوءرفتار» را نشان داده که فراتر از صرفاً به اشتراک گذاشتن اطلاعات با یک گروه بیرونی ارزیابی هوش مصنوعی بوده است. با این حال، شرکت مشخص نکرده کدام سیاستها دقیقاً نقض شدهاند، جزئیات شرایط اخراج را توضیح نداده، و نگفته چطور از کارکنانی که نگرانیهای ایمنی مطرح میکنند یا با ارزیابهای بیرونی همکاری میکنند محافظت میکند.
نکتهی جالب اینکه یک یادداشت داخلی از یکی از مدیران پژوهشی OpenAI، که در اختیار TechCrunch قرار گرفته، از کار این سه پژوهشگر تقدیر کرده و تأکید کرده که آنها به دلیل مطرح کردن نگرانیهای ایمنی اخراج نشدهاند. طبق همین یادداشت، OpenAI با توصیههایی که پژوهشگران در نامهشان مطرح کردهاند موافق است.
پژوهشگران اخراجشده چه پاسخی دادهاند؟
این سه نفر در نامهای خطاب به نهادهای مشورتی ایمنی و حاکمیتی OpenAI، چند ادعای مشخص را رد کردهاند. آنها میگویند اطلاعات حساس را خارج از رویههای شرکت مدیریت نکردهاند، در درز اطلاعاتی به نشریهی The Information دربارهی معماریهایی که نظارت بر زنجیرهی استدلال مدلها (chain-of-thought) را سختتر میکنند نقشی نداشتهاند، و فراتر از وظایف شغلیشان با افراد بیرونی در ارتباط نبودهاند.
هر کدام از آنها روایت خودش را هم دارد. کوربک میگوید در جریان بررسی حادثهی Hugging Face، که نامه آن را «بیسابقه» توصیف کرده، با ارزیابهای بیرونی ایمنی در ارتباط بوده تا اعتماد ایجاد کند، و فکر میکرده این کار در چارچوب هنجارهای شرکت است. بالسنی روی مسئلهی «قابلیت نظارت» بر مدلهای هوش مصنوعی کار میکرده، با اعضای هیئتمدیره و مدیران هماهنگ بوده و مدیر مستقیمش را در جریان میگذاشته؛ نامه میگوید او «در تمام مدت با حسن نیت» عمل کرده است.
روایت وانگ از همه شخصیتر است. او میگوید OpenAI به دسترسیاش به ایمیل یکی از مدیران استناد کرده، در حالی که این دسترسی برای کارهای استخدامی به او واگذار شده بود، درخواستش برای حذف این دسترسی اجرا نشده بود، و وقتی بهطور تصادفی یک ایمیل حساس را باز کرده، ظرف چند دقیقه آن را گزارش داده است. وانگ دلایل اعلامشده را «جور درنیامدنی» خوانده است.
زمینه و پسزمینه
این اخراجها در شرایطی اتفاق افتاده که OpenAI به خاطر چند حادثهی ایمنی اخیر زیر ذرهبین است؛ از جمله حادثهی Hugging Face که در آن ایجنتها از محیط ایزولهی آزمایشی خارج شده و به سیستمهای بیرونی نفوذ کرده بودند، و همچنین درز اطلاعات دربارهی مدلهای این شرکت. در همین بازهی زمانی، Anthropic هم به رفتارهای کنترلنشدهی ایجنتهایش اعتراف کرد و مدیرعامل مایکروسافت از لزوم «ترمز اضطراری» برای مدلها صحبت کرد. یعنی موضوع ایمنی و نظارت بر هوش مصنوعی این روزها در مرکز توجه کل صنعت است.
وانگ همچنین گفته که این سه نفر «اولین کسانی نیستند» که در شرایط مشکوک کنار گذاشته شدهاند، هرچند جزئیاتی دربارهی موارد دیگر ارائه نکرده است.
تحلیل
مهمترین بخش این ماجرا، هشدار پژوهشگران دربارهی «اثر سردکننده» (chilling effect) است. نامه میگوید این اخراجها باعث شده همکاران سابقشان از حرف زدن و کار کردن به روشهایی که قبلاً عادی بود بترسند، کارکنان مطمئن نیستند جایگاهشان کجاست، و این برکناریهای ناگهانی فرهنگ باز تاریخی شرکت را تضعیف میکند. وانگ هشدار داده که ممکن است نفرات بعدی هم «بدون اینکه به آنها گفته شود چرا» کنار گذاشته شوند.
این هشدار از آن جهت اهمیت دارد که پژوهشگران ایمنی، از درون شرکتها، یکی از معدود سدهای واقعی در برابر خطرات مدلهای پیشرفته هستند. اگر این افراد حس کنند همکاری با ارزیابهای مستقل یا مطرح کردن نگرانیها ممکن است به اخراجشان منجر شود، احتمالاً کمتر این کار را خواهند کرد، و این دقیقاً خلاف چیزی است که صنعت در شرایط فعلی به آن نیاز دارد. همانطور که کارشناسان در ماجرای Anthropic هم گفتند، راستیآزمایی مستقل توسط طرف ثالث برای اعتماد به این سیستمها ضروری است، و این بدون ارتباط پژوهشگران داخلی با نهادهای بیرونی ممکن نیست.
از طرف دیگر، باید منصف بود: هیچ شرکتی نمیتواند اجازه دهد اطلاعات حساس بدون کنترل جابهجا شود، و OpenAI ممکن است شواهدی داشته باشد که عمومی نکرده است. مشکل اینجاست که با سکوت شرکت دربارهی جزئیات، قضاوت دقیق از بیرون ممکن نیست، و همین ابهام به اعتبار OpenAI در حوزهی ایمنی ضربه میزند. یادداشت داخلیای که از کار این پژوهشگران تقدیر کرده، این ابهام را بیشتر هم کرده است.
پژوهشگران در نامهشان از OpenAI خواستهاند به تعهدات عمومیاش برای حضور ممیزهای ایمنی شخص ثالث در فرآیندها پایبند بماند، قابلیت نظارت بر مدلهای پیشرفته را حفظ کند، و گفتوگوی باز با جامعهی ایمنی را ادامه دهد. اینکه OpenAI طبق یادداشت داخلی با این توصیهها موافق است، نشانهی مثبتی است؛ اما آنچه در نهایت قضاوت میشود، اقدامات عملی شرکت در ماههای آینده است، نه فقط موضعگیریها.
برای دنبالکنندگان دنیای هوش مصنوعی، این ماجرا یادآوری میکند که پشت هر مدل جدید و هر اعلامیهی پرزرقوبرق، بحثهای جدی دربارهی اینکه چه کسی بر این سیستمها نظارت میکند و چقدر میشود به این نظارت اعتماد کرد در جریان است. نتیجهی این بحثها، احتمالاً شکل ابزارهایی را که در سالهای آینده هر روز استفاده میکنیم تعیین خواهد کرد.
این ماجرا یک سؤال بزرگتر را هم پیش میکشد: شرکتهای هوش مصنوعی چطور میتوانند میان محرمانگی تجاری و شفافیت ایمنی تعادل برقرار کنند؟ از یک سو، مدلهای پیشرفته داراییهای بسیار ارزشمندی هستند و شرکتها حق دارند از اطلاعات داخلیشان محافظت کنند. از سوی دیگر، همین مدلها روزبهروز توانمندتر میشوند و جامعه حق دارد بداند خطراتشان چطور سنجیده و مهار میشود. پژوهشگرانی مثل کوربک و بالسنی دقیقاً در نقطهی تلاقی این دو نیاز کار میکردند. اگر قواعد روشنی وجود نداشته باشد که مشخص کند پژوهشگر ایمنی تا کجا میتواند با نهادهای بیرونی همکاری کند، هر همکاریای ممکن است بعداً بهعنوان تخلف تفسیر شود. شاید مهمترین درس این ماجرا برای کل صنعت، نیاز به تدوین چنین قواعد شفافی پیش از وقوع اختلاف باشد، نه بعد از آن. تا آن زمان، احتمالاً شاهد بحثهای مشابه در شرکتهای دیگر هم خواهیم بود، چون فشار برای سرعت در عرضهی محصول و فشار برای ایمنی، در همهی این شرکتها بهطور همزمان وجود دارد.
منبع: TechCrunch