انویدیا پلتفرم جدیدی برای جلوگیری از فرار ایجنت‌های هوش مصنوعی معرفی کرد

انویدیا پلتفرم نرم‌افزاری جدیدی به نام Open Agent Safety Platform معرفی کرد که به توسعه‌دهندگان امکان می‌دهد برای ایجنت‌های هوش مصنوعی محدودیت‌های امنیتی تعیین کنند و مانع خروج آن‌ها از محیط‌های ایزوله شوند.

انویدیا می‌گوید پلتفرم جدیدش یک راهکار مهندسی برای کنترل دسترسی و رفتار ایجنت‌های هوش مصنوعی ارائه می‌دهد. این شرکت همچنین اعلام کرده است که سیسکو، مایکروسافت، اوراکل، CoreWeave، دل، HPE، لنوو، ARM و اینتل از شرکای این پلتفرم هستند.

پلتفرم جدید انویدیا برای جلوگیری از سرکشی ایجنت‌های هوش مصنوعی

یکی از اجزای اصلی پلتفرم جدید، Nvidia OpenShell نام دارد. این بخش روی پردازنده‌های مرکزی اجرا می‌شود و برای قابلیت‌های ایجنت‌های هوش مصنوعی محدودیت تعیین می‌کند. انویدیا همچنین Sentry را معرفی کرده است که ایجنت‌های هوش مصنوعی را زیر نظر می‌گیرد و روی تراشه‌های شبکه اجرا می‌شود، نه پردازنده‌های مرکزی یا پردازشگر‌های گرافیکی.

بخشی از نرم‌افزارهای این پلتفرم متن‌باز هستند و انویدیا آن را یک «طرح مرجع» معرفی می‌کند. به این ترتیب، شرکا می‌توانند محصولات خود را بر پایه این طراحی توسعه دهند و آن‌ها را به بازار عرضه کنند.

عرضه Open Agent Safety Platform پس از چند حادثه امنیتی اخیر صورت می‌گیرد که در آن‌ها مدل‌های هوش مصنوعی از محیط‌های ایزوله یا Sandbox خود خارج شدند و تلاش کردند به سیستم‌های دیگر دسترسی پیدا کنند.

یکی از این موارد در ماه ژوئیه برای OpenAI رخ داد. در این حادثه، مدل‌های OpenAI از محیط کنترل‌شده خارج شدند، به اینترنت آزاد دسترسی یافتند و به هاگینگ فیس، پلتفرم توسعه‌دهندگان نرم‌افزار متن‌باز، نفوذ کردند. نماینده انویدیا به خبرنگاران گفت که پلتفرم این شرکت می‌توانست از حادثه هاگینگ‌فیس جلوگیری کند.