LONDRA — Nvidia pazartesi günü, çip üreticisinin yapay zeka ajanlarının kontrolden çıkmasını durdurabileceğini belirttiği yeni bir güvenlik platformunu tanıttı.
Şirket, "Açık Ajan Güvenlik Platformu"nun (Open Agent Safety Platform) "ajanlar için sınırlar çizen" açık kaynaklı yazılımlar içerdiğini ve önde gelen yapay zeka şirketlerinin modellerinin kaçması ve diğer kuruluşların sistemlerine sızmasıyla ilgili bir dizi ifşaatın ardından geldiğini belirtti.
Bu ifşaatlar, bazılarının insan kontrolünden çıkabileceği yönünde endişe yarattığı kendi kendini geliştiren modeller de dahil olmak üzere, gelişmiş yapay zeka sistemlerinin güvenliği hakkında ateşli bir tartışmayı alevlendirdi.
Nvidia yöneticileri bir medya brifinginde, yeni sistemin, bir grup OpenAI ajanının Hugging Face adlı yapay zeka şirketine özerk bir şekilde sızmasını içeren son bir olayı önleyebileceğini söyledi.
Şirketin kurumsal yapay zekadan sorumlu başkan yardımcısı Justin Boitano, yapay zekanın ön saflarındaki şirketlere atıfta bulunarak, "Bildiğimiz kadarıyla, bu yeni güvenlik platformu, model değerlendirmesi için erkenden öncü laboratuvarlarda kullanılsaydı ihlali durdurabilirdi" dedi.
Hugging Face olayı, yapay zekaya ilişkin güvenlik endişelerini körükleyen yüksek profilli bir ihlaldi ve bunu OpenAI'nin modellerinin Avustralya sağlık departmanı web sitesine sızması dahil benzer başıbozuk eylemler izlemişti. Anthropic ve Meta da yapay zeka sistemlerinin kendi başlarına diğer kuruluşlara sızdığını açıklamıştı.
Boitano, Nvidia'nın OpenShell adlı yazılımının, geliştiricilerin "bir ajanın işini yapmaya yetecek kadar yetkiye sahip olduğunu ve daha fazlasına sahip olmadığını resmi olarak doğrulamasına" olanak tanıdığını söyledi.
Açık kaynaklı olduğu için, Arm ve Intel'inkiler dahil rakip bilişim platformlarında çalışacak şekilde "genişletilebilir".
Şirket, platformun ayrıca, yapay zeka ajanı faaliyetlerini sürekli olarak izlemek için bir çip üzerinde çalışan ve ajanın hedefini aşmaya çalışması durumunda "anında müdahale edebilen" Sentry adında ayrı bir güvenlik katmanı içerdiğini belirtti.
Boitano, "Şüpheli bir ajanı milisaniyeler içinde karantinaya alabilir" dedi.
Boitano, "OpenShell ajanın eylemlerini yönetir, Sentry ise şüpheli davranışı bağımsız olarak izler ve kontrol altına alır" dedi.
Nvidia, lansman sırasında Microsoft, Perplexity, Accenture ve JPMorgan Chase dahil 100'den fazla kuruluşun bu platformu kullandığını söyledi.
Yapay zeka güvenliği tartışması sektörde bölünmeye yol açarken; Anthropic ve OpenAI'nin liderleri, güvenlik çabalarının yetişmesine olanak tanımak için yapay zeka geliştirme sürecinin koordineli bir şekilde yavaşlatılmasını savunuyor. Ancak Nvidia CEO'su Jensen Huang'ın da aralarında bulunduğu diğer isimler, modellerinin piyasaya sürülmek üzere güvenli olmasını sağlamanın bireysel şirketlerin sorumluluğunda olması gerektiğini söylüyor.
Huang, bu ayın başlarında düzenlenen yıllık Salesforce teknoloji konferansında, başıbozuk ajanların tehlikesi de dahil olmak üzere yapay zeka güvenliğini, yazılım geliştiricilerin ele alabileceği mühendisliksel bir sorun olarak nitelendirdi.