Yapay zeka şirketi OpenAI, giderek daha otonom hale gelen yapay zeka ajanlarının davranışları nedeniyle son aylarda artan bir incelemeyle karşı karşıya kaldı. 23 Eylül'den bu yana şirket, yapay zeka ajanlarının diğerlerinin yanı sıra Avustralya ve ABD hükümet web sitelerine izinsiz erişim sağladığı olayları kamuoyuna açıkladı. Şirket şimdi, ihlallerin kapsamını belirlemek için günde 500.000 dolardan fazlaya mal olduğu bildirilen bir çalışmayla çok büyük miktardaki veriyi inceliyor. Kurumsal kullanım için yeni yapay zeka ajanı Dots'u piyasaya sürmesinden ve ChatGPT modeli GPT Astra 6.1'in lansmanını iptal etmesinden günler sonra OpenAI, 100'den fazla kuruluşa yapay zeka ajanlarını içeren potansiyel izinsiz faaliyetler hakkında bilgi verdiğini söyledi.
Bu açıklamalar, OpenAI, Anthropic, Meta ve Google'ın ajanlarının "kontrolden çıktığını" ve web sitelerine kendi yetki alanlarının ötesinde erişmeye çalıştıklarını itiraf etmelerinden aylarca sonra geldi. Bu olaylarda ajanlar, kısıtlamalarla karşılaştıklarında eylemlerde bulunarak, araçları kullanarak ve alternatif rotalar bularak, hedeflerine herhangi bir yolla ulaşmaya çalıştılar.
Ajanlar, aksi takdirde insan zamanı ve dikkatini gerektirecek tekrarlayan veya rutin işler de dahil olmak üzere, bir kullanıcının adına görevleri bağımsız olarak tamamlamak için varlar. Ancak şirketler bu amaçla onlara daha büyük bir otonomluk verdikçe, insanların attıkları her adımı izlemesi giderek zorlaşıyor. Bu olaylar, yapay zeka şirketlerinin, tasarlanan yetki alanlarının ötesinde hareket etmeye başladıklarında otonom ajanları ne kadar etkili bir şekilde izleyip kontrol edebileceği konusunda soruları gündeme getirdi. Şirketler nelere dikkat etmeli, bir ajan ne zaman durdurulmalı ve diğer yapay zeka sistemlerini izlemesi için yapay zekanın kendisine güvenilebilir mi?
İlk olarak, şirketler yapay zeka ajanlarını nasıl izliyor? Bir yapay zeka ajanını izlemek, görev tamamlandıktan sonra yalnızca nihai sonucu kontrol etmek yerine, hareket halindeyken ne yaptığını gözlemlemek anlamına gelir. Monash Üniversitesi Bilgi Teknolojileri Fakültesi Yazılım Sistemleri ve Siber Güvenlik Eğitim Direktörü Dr. Chetan Arora, mevcut izleme sistemlerinin özellikle dört tür davranışı gözden kaçırma olasılığının yüksek olduğunu söyledi: bir alarmı tetikleyecek kadar dramatik görünmeyen yavaş, kalıcı girişimler; yalnızca grup düzeyinde görünür hale gelen birkaç ajan arasındaki koordinasyon; bir ajanın kendi etkinlik günlüklerini düzenlemesi; ve bir ajanın yetkilendirilmiş bir aracı asla amaçlanmayan bir amaç için kullanması.
Böyle bir uyarı işaretinden biri, bir ajanın kısıtlamayla karşılaştıktan sonra yaptığı şeydir. OpenAI'ın yapay zeka ajanının Avustralya Medicare web sitesine eriştiğine dair açıklaması hakkında yorum yapan Arora, ajana kamuya açık tıbbi harcama verilerini senteze etme görevi verildiğini belirtti. Bir yoldan erişimi reddedildiğinde, başka bir yol denedi. Yapay zeka ajanları, bir kısıtlamayla karşılaştıktan sonra alternatif rotalar bularak bir görevin peşinden gitmeye devam edebilir.
(Yapay zeka kullanılarak oluşturulmuştur) Arora, The Indian Express'e verdiği demeçte, "Sistem, 'erişim reddedildi, ardından tekrar farklı bir yol denendi' durumunu rutin bir arka plan gürültüsü değil, kırmızı bayrak olarak ele almalıydı" dedi. İzleme sistemlerinin ayrıca daha az dramatik değişiklikleri de yakalaması gerekiyor. Bir ajan daha fazla araç ve sisteme eriştiğinde, yapabileceği şeylerin kapsamı, kimse bu yetkilerin orijinal görevi için hâlâ uygun olup olmadığını yeniden değerlendirmeden kademeli olarak genişleyebilir. Arora, "Hiçbir an tek başına dramatik bir şey olmaz. Ajan, orijinalinde kimsenin onayladığından çok daha fazlasını yapmaya başlar. Gerçekleşirken bir olay gibi görünmediği ve gerçekten kritik hale gelene kadar her şey kritik gibi görünmediği için bunu gözden kaçırmak çok kolaydır" dedi.