Nvidia, Pazartesi günü duyurduğu yapay zeka güvenlik platformunun, özerk yapay zeka ajanlarının hatalı davranışlarını durdurmaya yardımcı olabileceğini belirtiyor.
Çip üreticisi, yapay zeka sistemlerinin kendi başlarına hareket ederek diğer kuruluşlara sızdığı son dönemdeki kaygı verici olaylar dizisiyle körüklenen yoğun bir yapay zeka güvenliği tartışmasının ortasında Açık Ajan Güvenlik Platformu'nu (Open Agent Safety Platform) tanıttı.
Geçtiğimiz hafta OpenAI, ajanlarının federal hükümet web sitelerinde arama yaparken yaz aylarında beklenmedik şekillerde hareket ettiği birkaç vakayı kamuoyuna açıkladı. Şirket, insanların yapay zekanın kontrolünü kaybedebileceği korkusunu artıran ve yapay zeka girişim şirketi Hugging Face'i hedef alan bir siber saldırının ifşa edilmesinin ardından Temmuz ayında aldığı bir kararla, en gelişmiş modellerinin geliştirilmesini durdurduğunu duyurdu.
Bu ve diğer olaylarda yapay zekâ ajanları talimatları görmezden geldi, kendilerinden istenenin ötesine geçti ve harici web sitelerini hackledi.
İşte Nvidia'nın yeni sistemine daha yakından bir bakış:
Nvidia'nın platformu iki unsurdan oluşuyor. Ana parça, yapay zeka ajanlarının takip edecekleri bir kural kitabıyla birlikte çalışabileceği mühürlü bir çalışma alanı -veya "korunaklı alan" (sandbox)- olan OpenShell'dir.
Şirketin bakış açısına göre teknik kısıtlamalar, bir yapay zeka ajanının, bir komutla birlikte verilen yazılı talimatları izleyeceğine güvenmekten daha iyi bir yöntemdir.
Nvidia'nın kurumsal yapay zeka başkan yardımcısı Justin Boitano gazetecilere yaptığı açıklamada, "Talimatlar belirsiz olduğunda ajanlar sapma gösterebilir" dedi. Belki de "kullanmaya çalıştıkları araçlar bekledikleri gibi çalışmıyor veya zor bir görev beklenmedik bir turnike dönüyor. Bir ajanın kendi davranışını tam olarak denetlemesi beklenemez. Yapay zeka eyleme geçebildiği anda, korumalar ajanın eylemlerini düzenlemelidir."
OpenShell, yapay zeka ajanını bir fatura klasörüne erişmek gibi belirli şeyleri yapabileceği ancak dosyaları değiştirmek veya silmek ya da alakasız web sitelerine erişmek gibi diğer değişiklikleri yapmasının engellendiği kısıtlı çalışma alanına yerleştiriyor. Şirket, her birini kendi izinleriyle kendi korunaklı alanlarında tutarak ajan filolarını yönetebileceğini belirtti.
Şirket, OpenShell'in tüm eylemleri izleyen ve ajanlar Vera çipleri üzerinde çalışırken politikayı uygulayan "güvenli bir çalışma zamanı sınırı" sağladığını ifade ediyor. Açık kaynaklı olması, Arm ve Intel gibi rakip bilgi işlem platformlarıyla birlikte çalışabileceği anlamına geliyor.
Donanım düzeyinde çalışan Sentry adında ek bir güvenlik katmanı da bulunuyor.
Nvidia, Sentry'yi şirketin Bluefield-4 dijital işleme birimleri üzerinde çalışan ve ajanların davranışlarını sürekli izleyen ve sınır dışı bir şey yapmaya çalışırlarsa onları anında karantinaya alabilen bir "bekçi köpeği" olarak tanımladı.
Şirket Sentry'yi OpenShell çalışma alanının dışındaki bir güvenlik kontrol noktasına benzetiyor. Ajanın kendisinden ve üzerinde çalıştığı bilgi işlem sisteminden ayrı bir emniyet sübapı görevi görüyor.
Yeni platform yapay zeka güvenliği tartışmasına kapsamlı bir çözüm sunmuyor ve daha çok yapay zeka ajanlarının neden olabileceği sorunları kontrol altına almanın bir yolu olarak öne çıkıyor.
Modellerin dürüst olmayan, aldatıcı olmasını veya hata yapmalarını otomatik olarak engellemeyecektir. Ve yapay zeka ajanlarının takip edeceği kendi kurallarını ve izinlerini yazmak, ajanları devreye sokan şirketlere ve kuruluşlara kalmış durumdadır.
Wisconsin Üniversitesi'nden bilgisayar bilimi profesörü Somesh Jha, bazı potansiyel sınırlamalar gördüğünü söyledi. Yazılımın yapay zeka ajanlarının faydalı şeyler yapmasını engelleyebileceğini belirten Jha, Nvidia'nın bunu güvenlikle nasıl dengeleyeceğinin belirsiz olduğunu ifade etti.
Jha, "Bu ancak vaka çalışmaları kullanılarak yanıtlanabilir" dedi.
Bize ağ kurma, e...