IndianExpress
OpenAI, modelleri tarafından yürütülen görevleri izleyen ve araştırmacıların görevleri duraklatması veya sonlandırması durumunda bunları 30 saniye içinde durdurabilen, AI öldürme anahtarı benzeri bir sistem uyguladığını söyledi. OpenAI, 9 Kasım Pazartesi günü yayınlanan bir blog yazısında, 'Kontrol Odası' olarak bilinen merkezi sistemin, yapay zeka emniyeti ve güvenliği endişeleri göz önünde bulundurularak tasarlandığını söyledi. Kontrol Odası, halihazırda OpenAI'nin araştırma altyapısında konuşlandırıldı ve hatalı davranan veya 'yanlış hizalanmış' yapay zeka ajanları için izleme sistemleriyle de entegre edildi. OpenAI, bir işi durdurmak veya duraklatmak için müdahale etme kararının ardından 35 saniye içinde model çıktısını durdurduğunu ekledi. Ayrıca, diğer sistemler arızalansa veya Kontrol Odası çökse bile çalışmaya devam etmesini sağlayan, arıza korumalı bir mekanizmaya sahiptir. OpenAI'nin dahili olarak bir öldürme anahtarı sunma hareketi, bu yılın başlarında 'haydut' veya yaramazlık yapan AI ajanlarının neden olduğu bir dizi hackleme olayının ardından geldi. Yetersiz teste tabi tutulan bu otonom ajanlar, sınırlamayı aştı, yetkisiz internet erişimi elde etti ve Hugging Face ve Hindistan, Avustralya, Kanada, ABD ve diğer ülkelerdeki resmi hükümet web siteleri de dahil olmak üzere birçok gerçek dünya platformunu araştırdı veya hackledi. O zamandan bu yana, yapay zeka güvenliği ve kıyamet senaryolarına ilişkin endişeler, birkaç OpenAI ve Antropik araştırmacının işlerini bırakmasıyla ve yapay zeka sistemlerinin nispeten yakın zamanda insanlığı yok etme kapasitesine sahip olabileceği konusunda uyarıda bulunmasıyla, en yüksek seviyeye ulaştı. Bu gelişmelerin ardından Nvidia, Microsoft ve Crowdstrike gibi birçok teknoloji şirketi, insanların gelişmiş yapay zeka sistemleri üzerinde daha fazla kontrole sahip olmasını sağlamak için acil anahtarlar geliştirdi ve başka mühendislik çözümleri geliştirdi. OpenAI blog yazısında şunları söyledi: "Modellerimiz güçlendikçe ve ilgili güvenlik riskleri büyüdükçe, potansiyel sorunları tespit edebilmemiz ve gerektiğinde modelleri hızla durdurabilmemiz giderek daha kritik hale geliyor." Kontrol Odası Nedir? Kontrol Odası işlevleri üç temel sisteme dayanmaktadır: iş yükü, çıkarım motoru ve merkezi Kontrol Odası hizmetinin kendisi. İş yükü, takviyeli öğrenme (RL) deneyi, değerlendirme, yüksek hacimli örnekleme veya veri işleme işi vb. gibi model tarafından yürütülen iş veya görev olarak kabul edilir. Çıkarım motoru, GPU'lar tarafından desteklenen modelin kendisini ifade eder. Her iş yükü bir veya daha fazla model veya çıkarım motoru kullanabilir. Kontrol Odası hizmeti, iş yüklerini izlemek ve model çıktıları oluşturmaya devam etmelerine izin verilip verilmediğini değerlendirmek için tasarlanmıştır. Nasıl çalışır? Her çıkarım motoru, bir isteği yerine getirmeden önce Kontrol Odası hizmetini kontrol eder. Bir iş durdurulduysa hizmet isteği reddederek daha fazla çıktı alınmasını engeller. Yeni bir işe başlamadan önce iş yükü kodu, Kontrol Odasından yeni bir 'job_id' ister. Bir modelden belirteçleri örneklemek için, o modeli çalıştıran çıkarım motoruna bir istekte bulunur ve ardından job_id'yi iletir. Çıkarım motoru da job_id'yi Kontrol Odasına iletir ve isteği yerine getirmeden önce izin ister. Job_id'yi aldıktan sonra Kontrol Odası işin sonlandırılıp sonlandırılmadığını kontrol eder. Cevabınız evet ise, çıkarım motoru iş yükünün isteğini reddeder ve iş yükünün bu işle ilgili daha fazla model çıktısı üretmesini durdurur. OpenAI, Kontrol Odasının potansiyel bir sorunu tespit eden mevcut izleme sistemleriyle de entegre olduğunu ve ayrıntılara ve ciddiyete bağlı olarak sistemin işi durdurmaya karar verebileceğini söyledi. Eğer
SABAH BRİFİNGİ
Yükleniyor...
PRO İSTİHBARAT
Küresel Brifing Yükleniyor...
Dünya basınından Türkiye ve küresel merkez bankaları hakkındaki en kritik 24 saatlik gelişmeler özetleniyor.
Sayfa 1 / 1