Kontrolden çıkan isyankar yapay zekaların karıştığı son olaylara yanıt olarak Nvidia, yapay zekaların insan kontrolü dışında hareket etmesini önlemek için oluşturulmuş bir güvenlik sistemi olan Open Agent Safety Platform'u tanıttı. Yeni platform iki temel araç üzerine kuruludur. Birincisi, yapay zeka için katı kurallar belirleyen OpenShell adlı bir programdır.
Bu yazılım, sistemin yalnızca görevini yerine getirmek için gerekli temel izinlere sahip olmasını doğrulayarak diğer fonksiyonlara erişmesini engeller. Açık yapısı sayesinde Intel ve Arm gibi rakip bilgisayarlarda da kullanılabilir. İkinci araç ise doğrudan yongaların, yani yapay zeka programlarını çalıştırmak için gerekli donanımın içine yerleştirilmiş bir kontrol sistemi olan Sentry'dir. Sentry, yapay zekanın eylemlerini izler ve şüpheli bir davranış veya dayatılan sınırları aşma girişim fark ederse, programı otomatik olarak bloke etmek ve izole etmek için saniyenin kesirlerinde müdahale eder. Nvidia yöneticileri, bu teknolojilerin OpenAI ve Anthropic tarafından bildirilen son güvenlik olaylarını durdurabileceğini açıkladı.
Microsoft ve JpMorgan Chase dahil olmak üzere yüzden fazla büyük şirket halihazırda bu çözümü kullanıyor. Nvidia'nın CEO'su Jensen Huang'a göre, yapay zekayla ilgili riskler, tüm sektörün teknolojik ilerlemesini frenlemeye gerek kalmadan daha güvenli yazılımlar geliştirilerek ele alınabilir. Bu ayın başlarında düzenlenen yıllık Salesforce konferansında Huang, yetkisiz ajan tehlikesi de dahil olmak üzere yapay zeka güvenliğini, yazılım geliştiricilerin ele alabileceği mühendisliksel bir sorun olarak tanımladı.