درس فراخوان Fable 5 برای هر رهبر هوش مصنوعی
در ژوئن ۲۰۲۶، دو مدل از توانمندترین مدل‌های هوش مصنوعی جهان تنها چند روز پس از عرضه خاموش شدند.
Anthropic در نهم ژوئن Fable 5 و Mythos 5 را عرضه کرد. Fable 5 مدل رو به عموم بود، که در قوی‌ترین حفاظت‌هایی که شرکت تاکنون عرضه کرده بود پیچیده شده بود. Mythos 5 همان هسته را داشت اما محدودیت‌های سبک‌تری داشت، و فقط به گروه کوچکی از شرکای تأییدشده برای کارهای امنیتی دفاعی رسید. سه روز بعد دولت ایالات متحده کنترل‌های صادراتی را بر هر دو اعمال کرد. دسترسی برای اتباع خارجی باید قطع می‌شد، چه داخل کشور چه خارج از آن. از آنجا که راهی برای تأیید ملیت در لحظه هر درخواست وجود نداشت، شرکت دسترسی را برای همه تعلیق کرد. کنترل‌ها در سی‌اُم ژوئن برداشته شدند و دسترسی در اول ژوئیه بازگشت. خاموشی نوزده روز، یعنی کمتر از سه هفته، به طول انجامید.
برای بیشتر خوانندگان، این داستان شبیه یک اختلاف سیاسی به نظر می‌رسد. برای هر کسی که کسب‌وکاری را روی این سیستم‌ها اداره می‌کند، چیز تیزتری بود. خدمات هوش اصلی بدون هشدار و بدون جایگزین مطمئن خاموش شدند. قراردادهایی که پیش از ۲۰۲۶ نوشته شده بودند تصور نمی‌کردند دستوری دولتی یک خدمت هوش مصنوعی را همزمان در همه پلتفرم‌ها معلق کند. این همان بخشی است که هر رهبری باید روی آن مکث کند.
چه اتفاقی واقعاً درون مدل افتاد
ماشه، گزارشی از پژوهشگران آمازون بود. آن‌ها راهی یافتند که Fable 5 را طوری هدایت کنند که آسیب‌پذیری‌های نرم‌افزار را شناسایی کند، و در یک مورد کدی تولید کرد که نشان می‌داد چگونه می‌توان یک آسیب‌پذیری را بهره‌برداری کرد. این نوع ترفند نامی دارد. جیلبریک نام دارد، یعنی دستوری که مدل را وادار می‌کند کاری انجام دهد که حفاظت‌هایش قرار بود جلویش را بگیرند.
نکته مهم اینجاست. وقتی همان کار روی مدل‌های ضعیف‌تر آزمایش شد، از جمله Opus 4.8 خود Anthropic، آن مدل‌ها هم توانستند همان آسیب‌پذیری‌ها را پیدا کنند و همان نمایش را بازتولید کنند. معلوم شد رفتار، کار دفاعی عادی‌ای است که حفاظت‌ها از سر احتیاط مسدودش می‌کردند، نه خطر جدید و منحصربه‌فردی. با این حال Anthropic سریع حرکت کرد. طبقه‌بند جدیدی آموزش داد که تکنیک مشخص را در بیش از نود و نه درصد موارد مسدود می‌کند، و هر درخواست مسدودشده را به جای آن به مدل امن‌تری هدایت می‌کند.
شکاف واقعی جیلبریک نبود
اگر هیاهو را کنار بگذاریم، مسئله ساده‌تری پدیدار می‌شود. وقتی دورزدنی جدید گزارش می‌شود، کسی باید تصمیم بگیرد که چقدر جدی است، و باید سریع تصمیم بگیرد. آیا این یافته‌ای است که کشیدن یک مدل، اطلاع دادن به نهاد نظارتی و بیدار کردن تیم واکنش ساعت سه بامداد را توجیه می‌کند؟ یا ترفندی باریک است که یک رفتار بی‌ضرر را باز می‌کند و می‌تواند صبر کند؟ صنعت راه مشترکی برای پاسخ به این سؤال ندارد. هر شرکت با شهود جواب می‌دهد.
به همین دلیل است که Anthropic به همراه آمازون، مایکروسافت و گوگل شروع به تدوین چارچوبی مشترک کرده تا نمره دهد که یک جیلبریک واقعاً چقدر شدید است. این چارچوب بر چهار سیگنال تکیه دارد. افزایش توانایی می‌پرسد دورزدن مهاجم را چقدر فراتر از ابزارهایی که از قبل دارد می‌برد. وسعت می‌پرسد همان تکنیک چند حمله متفاوت را باز می‌کند. سهولت مسلح‌سازی می‌پرسد چقدر تلاش متخصصانه لازم است تا ترفند به حمله‌ای واقعی تبدیل شود. قابلیت کشف می‌پرسد یافتن روش در وهله اول چقدر آسان است. چهار سیگنال وارد می‌شود. یک تصمیم بیرون می‌آید.
انتخاب‌های طراحی، تصمیم‌های راهبردی هستند
اینجاست که رهبران باید توجه کنند، چون حرکت‌های جالب انتخاب‌های طراحی بودند، نه اتفاق‌های تصادفی.
انتخاب اول پهنای حاشیه امنیت بود. طبقه‌بند امنیت را می‌توان طوری تنظیم کرد که فقط درخواست‌های به‌وضوح خطرناک را مسدود کند، یا طوری که هر چیزی را که حتی کمی پرخطر به نظر برسد مسدود کند. Fable 5 روی انتهای محتاط تنظیم شده بود. این یعنی بسیاری از درخواست‌های بی‌ضرر رد می‌شدند، که کاربران را ناامید می‌کند، در برابر احتمال بسیار کمتر عبور یک درخواست خطرناک. این یک مصالحه تجاری است که به شکل تنظیم فنی درآمده. دسترسی‌پذیری عمداً با احتیاط معاوضه شد.
انتخاب دوم این بود که وقتی درخواستی مسدود می‌شود چه اتفاقی می‌افتد. به جای رد کردن ساده، سیستم درخواست مسدودشده را به مدلی کم‌توان‌تر اما امن‌تر هدایت می‌کند. کاربر همچنان پاسخ می‌گیرد. توانایی تقلیل می‌یابد نه اینکه انکار شود. این تصمیمی محصولی است درباره اینکه کنترل امنیت برای فرد سمت دیگر چه حسی باید داشته باشد.
انتخاب سوم لایه‌بندی بود. Mythos 5 درون برنامه شرکای مورد اعتماد ماند در حالی که Fable 5 به عموم رفت. وقتی دسترسی بازگردانده شد، Mythos ابتدا به سازمان‌های تأییدشده برگشت، بعد گسترده‌تر. لایه‌ای که میان انتشار کامل عمومی و تعلیق کامل قرار می‌گیرد اکنون الگویی زنده برای نحوه عرضه مدل‌های مرزی است.
مقایسه‌ای که مهم است
دو راه برای مدیریت یک دورزدن جدی جدید را در نظر بگیرید.
راه اول خاموش کردن است. مدل را پس می‌گیرید، مذاکره می‌کنید، و صبر می‌کنید. این از بدترین سناریو محافظت می‌کند، اما کند و کوبنده است. کاربران قانونی را نوزده روز فلج کرد، به رقیبان فرصت داد، و راهی برای تشخیص مشکل کوچک از بزرگ نداشت. هزینه بر همه به یک اندازه افتاد.
راه دوم نمره مشترک است. دورزدن را با سیگنال‌های توافق‌شده می‌سنجید، آن را روی مقیاسی قرار می‌دهید، و واکنش‌تان را با عدد هماهنگ می‌کنید. نمره پایین یعنی نظارت کنید و ادامه دهید. نمره بالا یعنی فوراً عمل کنید. ساختن این سخت‌تر است، چون به توافق میان شرکت‌ها و نهادهای نظارتی نیاز دارد، اما متناسب است. به شما اجازه می‌دهد روی اقلیت خطرناک سریع عمل کنید بدون اینکه اکثریت بی‌ضرر را جریمه کنید.
خاموش کردن کلید است. نمره مشترک ولوم است. صنایع بالغ با ولوم کار می‌کنند.
کاری که رهبران اکنون باید بکنند
با دسترسی به مدل مانند ریسک تأمین رفتار کنید، نه خدمات تضمین‌شده. از تأمین‌کنندگان‌تان بپرسید اگر مدلی معلق شود برای جریان‌های کاری شما چه اتفاقی می‌افتد، و آن پاسخ را در قراردادهایتان بنویسید. بپرسید درخواست‌های مسدودشده چگونه مدیریت می‌شوند، چون هدایت بی‌صدا به مدل ضعیف‌تر کیفیت خروجی شما را بدون اطلاع شما تغییر می‌دهد. و چارچوب شدت در حال شکل‌گیری را از نزدیک زیر نظر داشته باشید، چون شرکتی که بتواند روی یک ریسک عدد قابل دفاعی بگذارد حرکت می‌کند در حالی که رقبایش هنوز در حدس زدن هستند.
درس فراخوان Fable 5 این نیست که حفاظت‌ها شکست خوردند. آن‌ها تا حد زیادی کار کردند. درس این است که صنعت هنوز زبان مشترکی برای سنجش خطر ندارد، و آن شکاف یک یافته کوچک را به انجمادی نوزده‌روزه تبدیل کرد.
سؤال من از شما این است. وقتی مهم‌ترین سیستم هوش مصنوعی شما بدون هشدار خاموش می‌شود، آیا سازمان شما عددی دارد که بگوید چقدر باید نگران باشید، یا فقط یک شهود؟
ریاضی بیندیشید. هوشمندانه مهندسی کنید. راهبردی رهبری کنید. مسئولانه بسازید. جهانی مقیاس دهید. از طریق هوش مصنوعی ارزش تجاری واقعی خلق کنید.
در ابتدا توسط کشاوان تیاگاراجا در لینکدین منتشر شده است. نسخه اصلی را در لینکدین بخوانید. [1]