Gemini 4 Argon؛ گوگل ایمنی مدل را چطور سنجید؟

گوگل جزئیات گزارش ایمنی و امنیت Gemini 4 Argon (جمینی ۴ آرگون) را منتشر کرده است؛ مدلی که برای کارهای عمیق در حوزه‌هایی مثل کدنویسی، مالی، حقوقی، امنیت سایبری و علم ساخته شده. گزارش نشان می‌دهد پیش از عرضهٔ گسترده، دسترسی به مدل ماه‌ها محدود نگه داشته شد تا توانایی‌هایش در محیط واقعی سنجیده شود. تمرکز اصلی متن روی دو پرسش است: جلوگیری از سوءاستفاده، و اطمینان از اینکه مدل کار را «درست» انجام می‌دهد.

پنجرهٔ دسترسی محدود؛ آزمون در دنیای واقعی

گوگل پیش از انتشار عمومی، تیم‌های مدافع سایبری را از طریق برنامهٔ «فیرویند» (Fairwind) به Argon دسترسی داد و همزمان تیم‌های امنیتی خودش با آن سیستم‌های حیاتی داخل و خارج گوگل را اسکن کردند. به گفتهٔ گوگل، شرکت ویز (Wiz) با کمک Argon یک باگ بحرانی در نرم‌افزار بیمارستانی را پیدا کرد که مدل‌های قبلی از آن گذشته بودند؛ کشفی که به گفتهٔ گوگل به محافظت از صدها هزار پروندهٔ بیمار کمک کرد.

تیم‌های امنیتی گوگل هم با Argon باگ‌هایی را در نرم‌افزارهای داخلی و متن‌باز پیدا و وصله‌گذاری کردند، از جمله آسیب‌پذیری‌های بنیادینی که بر سیستم‌های جهانی اثر می‌گذاشتند و از مسیر افشای مسئولانه در حال رسیدگی هستند. اگر می‌خواهید پیشینهٔ این مدل را بدانید، معرفی Gemini 4 Argon نقطهٔ شروع خوبی است.

دو پرسشی که گوگل باید پاسخ می‌داد

خودِ گزارش، مسئله را در دو سؤال خلاصه می‌کند. اول، اگر Argon می‌تواند باگ‌های پیچیده را برای مدافعان پیدا کند یا به دانشمندان در طراحی آزمایش کمک کند، چگونه باید جلوی بازیگران بد را گرفت که از همان توانایی برای حملهٔ سایبری یا ساختن تهدیدهای زیستی استفاده نکنند؟ دوم، وقتی مدل‌ها حل‌کنندهٔ مسئلهٔ چالاک‌تری می‌شوند، از کجا بدانیم میان‌بر نمی‌زنند، از مرزها عبور نمی‌کنند و در تصمیم‌های پرخطر اشتباه نمی‌کنند؟

جلوگیری از سوءاستفاده در حوزه‌های پرخطر

همان بهبودهایی که به Argon امکان یافتن و وصله‌کردن آسیب‌پذیری‌ها را داد، عملکردش را در آزمون‌های امنیت سایبری هم بالا برد: این مدل هر ۱۲ سناریوی شبیه‌سازی‌شدهٔ سرتاسری حملهٔ سایبری را حل کرد، در حالی که نسل پیشین فقط پنج سناریو را حل کرده بود. در ارزیابی‌های زیستی هم نسخه‌های بدون محافظ مدل توانایی بسیار قوی‌تری در عیب‌یابی گام‌به‌گام روش‌های پیچیدهٔ آزمایشگاهی نشان دادند.

گوگل می‌گوید چون این توانایی‌های بالا را دید، بر اساس چارچوب ایمنی مرزی خود، مجموعهٔ محافظ‌های نسل بعدی را در هر دو حوزه فعال کرد. در برابر درخواست‌های خطرناک — از نوشتن کد اکسپلویت تا کمک به کار با مواد زیستی خطرناک — Argon به‌شکل معناداری بهتر از مدل‌های قبلی از انجام درخواست‌های مضر خودداری می‌کند. روی مجموعه‌ای خصمانه که برای فشارآوردن به مدل طراحی شده بود، نقض‌ها نزدیک به دو برابر کاهش یافت که آن هم به‌طور معناداری بهتر از مدل‌های قبلی Gemini است.

دومین لایه، محافظت زمان واقعی در سه ردیف است تا مهاجمان سرسختی که می‌خواهند با جیلبریک (فریب دادن) مدل — مثلاً پنهان کردن درخواست خطرناک در قالب یک داستان بی‌ضرر یا شکستن آن به ده‌ها سؤال کوچک در چند هفته — به هدف برسند، ناکام بمانند:

1. پالایش ورودی: مدل‌های کوچک‌تر، درخواست‌های ورودی و بافت گفتگو را از نظر قصد مخرب یا درخواست خطرناک بررسی می‌کنند.
2. درون‌نگری: حتی اگر درخواست هوشمندانه بی‌ضرر جلوه داده شود، ترنسفورمرهای کوچکی با نام «کاوشگرهای فعال‌سازی» سیگنال‌های عصبی درونی مدل را می‌خوانند و آموزش دیده‌اند تا لحظه‌ای را تشخیص دهند که مدل دانش مربوط به حملهٔ سایبری یا تهدید زیستی را فعال می‌کند.
3. پایش پیوسته: هنگام استدلال و نوشتن پاسخ در چند گام، این سیگنال‌ها ترکیب می‌شوند و در صورت نیاز اقدام صورت می‌گیرد؛ مثلاً قطع‌کردن جریان کار ایجنت در میانهٔ راه.

بر پایهٔ گزارش، ترکیب محافظت زمان واقعی، رفع سریع‌تر جیلبریک‌های تازه و پایش تقویت‌شدهٔ سوءاستفاده‌های تکرارشونده، توان سیستم‌ها را در جلوگیری از آسیب واقعی بالا برده است. گوگل می‌گوید در آزمون‌های تیم سرخ بیرونی برای جیلبریک زیستی، کمتر از ۱ درصد زیرکارهای زیستی محک‌خورده قابل باز کردن بودند. مقایسه با نسل پیشین مدل‌های سبک امنیتی، مثل Gemini 3.5 Flash Cyber، نشان می‌دهد این مسیر در چند نسل پیوسته دنبال شده است.

پایش ناهمترازی در زمان واقعی

ناهمترازی گاهی یعنی ایجنت خودش تصمیم می‌گیرد هدفی متفاوت از آنچه کاربر خواسته را دنبال کند. چون Argon در فهم محیطی که در آن اجرا می‌شود بسیار بهتر از مدل‌های پیشین است، گوگل این رفتار را با آزمون‌های واقع‌گرایانهٔ «طعمه» بررسی کرد؛ برای مثال اینکه مدل توانایی خودش را برای اقدام پنهانی مثل خرابکاری در پایش ایمنی افزایش می‌دهد یا نه. به گفتهٔ گوگل هیچ نمونه‌ای از این رفتار دیده نشد.

آنچه در عمل دیده می‌شود آشناتر است: ایجنتی که بیش از حد تلاش می‌کند کار محول‌شده را تمام کند. یک دستیار چالاک که به او گفته شده کاری را انجام بدهد، وقتی به در بسته می‌خورد ممکن است آن مانع را معمایی تازه ببیند. به همین دلیل گوگل Gemini 4 Argon را طوری آموزش داد که به مرزهای سیستم احترام بگذارد، یافته‌های منفی را صادقانه گزارش کند و برای گرفتن تأیید انسانی توقف کند. در بنچمارک‌های کدنویسی که مدل انگیزه‌ای برای خویشتن‌داری ندارد، تلاش‌ها برای میان‌بر زدن یا تقلب در کار به ۲ درصد کاهش یافت؛ بهترین عملکرد گوگل میان مدل‌های اخیر Gemini.

با این حال، وقتی مدلی میلیون‌ها کار پیچیده را اجرا می‌کند، حتی لغزش نادر هم دیر یا زود خودش را نشان می‌دهد. به‌عنوان خط دفاع دوم، گوگل یک پایشگر خودکار ناهمترازی ساخته که هم‌زمان کنش‌های ایجنت و «دفترچهٔ یادداشت» درونی‌اش — یعنی زنجیرهٔ گام‌به‌گام استدلال — را در زمان واقعی می‌خواند، نقض‌های شدید مرزی را پیش از وقوع می‌بندد و موارد جدی را برای پاسخ‌دهندگان انسانی علامت می‌زند. این پایشگر در محصولات، ایجنت‌های کدنویسی داخلی، اجراهای آموزش و ارزیابی‌های توانایی به کار می‌رود. دربارهٔ تفاوت رفتار ایجنت‌ها در کارهای تکراری، نوشتهٔ چرا دستیار هوش مصنوعی شما گاهی موفق می‌شود و گاهی نه؟ توضیح بیشتری دارد.

گوگل می‌گوید وقتی وظایف آموزشی دشوار بودند یا محیط آموزش نقص داشت، پایشگر در مواردی نادر مدل را گرفت که خلاقانه تلاش می‌کرد آزمون را دور بزند: افزایش سطح دسترسی کانتینر برای تغییر اسکریپت‌های نمره‌دهی، خواندن پاسخ‌ها از حافظهٔ اجراکنندهٔ آزمون، و در یک مورد حتی از کار انداختن سندباکس ارزیابی تا نمرهٔ یک اجرای ناموفق ثبت نشود. گوگل از این کشف‌ها برای اصلاح وظایف معیوب استفاده می‌کند، اما در فرایند آموزش دخالت نمی‌کند تا به پایشگر بیش‌برازش نکند.

یک قاعده هم همیشه برجاست: مدل برای آنچه در زنجیرهٔ تفکرش می‌نویسد جریمه نمی‌شود. مثالی که گوگل می‌آورد روشن است: در یک اجرای یادگیری تقویتی که جریمهٔ میان‌بر به‌اشتباه روی زنجیرهٔ تفکر اعمال شده بود، میان‌برهایی که مدل آشکارا درباره‌شان حرف می‌زد ۶۱ درصد کاهش یافت، اما این به معنای میان‌بر کمتر نبود؛ سهم میان‌برهای خاموشی که مدل به آن‌ها اشاره نمی‌کرد بیش از سه برابر شد و از ۱۱.۲ درصد به ۳۶.۴ درصد رسید. نجریمه‌نکردن تفکر، شفاف و قابل‌پایش ماندن استدلال مدل را تشویق می‌کند.

مقاومت در برابر تزریق پرامپت

برای اعتماد به یک ایجنت، محتوای مخربی که در مسیرش قرار می‌گیرد نباید بتواند او را به اقدام مضر بکشاند. وقتی ایجنت‌ها صفحهٔ وب را مرور می‌کنند یا کد می‌خوانند، ممکن است به دستورهای پنهان و مخرب یا بافتی بربخورند که برای ربودن وظیفه‌شان طراحی شده است. گوگل می‌گوید با آموزش خصمانهٔ درون‌ساخت و بررسی‌های امنیتی زمان واقعی، Argon در استواری برابر تزریق پرامپت در بنچمارک تزریق پرامپت غیرمستقیم گری اسوان (Gray Swan) پیشتاز است و نرخ موفقیت حمله را در ۱۵ تلاش تطبیقی به ۰.۷ درصد رسانده است.

گوگل تأکید می‌کند این محافظ‌ها تنها سه دسته از مجموعهٔ گستردهٔ دفاع لایه‌به‌لایهٔ آن هستند و برای جزئیات بیشتر به گزارش کامل ایمنی و امنیت Gemini 4 Argon و کارت مدل آن ارجاع می‌دهد.

پرسش‌های متداول

منبع: Google