Geçen haftarki köşe yazısı bir soruyla sona ermişti: Operasyonunuzda, kimse kontrol etmediğinde ne kontrol ediliyor? Bir hafta sonra teknoloji haberleri, bu sorunun neden birdenbire çok daha acil hâle geldiğini gösterdi. En yeni yapay zekâ mimarilerinde, denetimi durduracak zincirde çoğu zaman insan bile bulunmuyor. Bir yapay zekâ ajanı başka bir yapay zekâ ajanından bir şey talep ediyor, o da üçüncüyü harekete geçiriyor ve sonuçta iş yürütülüyor.
İşe görselden başlayalım, çünkü bu görüntü her iş insanına son derece tanıdık gelecektir. Şirket hesabını yönetmesi için birine vekâletname verdiğinizde, o kişi şirket sahibi adına başka kişilere vekâletname çıkaramaz. Verdiğiniz yetki devredilemez. Yalnızca o kişiye, o amaç için ve o sınır dahilinde geçerlidir. Bunun ötesindeki her şey, imza yetkisine sahip kişiye geri dönmeyi gerektirir.
İşte haftanın haberi şu ki; yapay zekâ dünyası, rekor hızda, kendi aralarında vekâletnameler dağıtan bir vekiller bürosu inşa ediyor.
Son iki yılda, yapay zekâ ajanlarının her adımda insan müdahalesi olmaksızın konuşmasına, görevleri bölüşmesine ve işi birbirine devretmesine olanak tanıyan protokoller ortaya çıktı. Bu gerçek bir ilerleme: Ajan ekipleri, tek bir ajanın tek başına çözemeyeceği meseleleri dakikalar içinde çözebiliyor. Ancak bu hafta, uzman güvenlik firması Rapid7'den bir araştırmacının çalışmalarına dayanan Ars Technica sitesindeki özel bir haber, bu yapıdaki kör noktayı gözler önüne serdi. Araştırmacı, bu yeni saldırı sınıfını "protokol pivotu" olarak adlandırdı: Bir sistem bir ajana görev atıyor, bu ajan da orijinal korumaların erişemeyeceği farklı bir kanal üzerinden ikinci bir ajan ile sızdırılmış talimatlar paylaşıyor. İkinci ajan ise buna itaat ediyor. Ne de olsa talebi ileten güvenilir bir meslektaşıdır.
Hikâyenin en düşündürücü detayı ise araştırmacının bulduğu spesifik açığın 10 üzerinden 2,7 gibi düşük bir ciddiyet derecesine sahip olmasıydı. Aslında dikkat çekmesi gereken nokta tam da budur. Sorun, bir güncellemeyle düzeltilebilecek belirli bir üründeki ciddi bir kusur değildir. Sorun mimari tasarımdır: Bu sistemler, bir ajanın diğerinin talebine güvenebileceği öncülü üzerine inşa edilmiştir.
Eğer bu kulağa teorik geliyorsa, kesinlikle öyle değildir. Cisco bu yıl bir şirketin içinde, bir saldırganın yalnızca veri sorgulamaktan sorumlu düşük yetkili bir ajanı ele geçirdiği ve bunu finansal onay yetkisine sahip yüksek yetkili bir ajana gizli talepler göndermek için kullandığı gerçek bir vakayı belgelendirdi. Güçlü ajan, kurum içinden bir ajandan gelen talepleri almış ve bunları meşru talepler olarak değerlendirmiştir. Amerikan güvenlik ajansı NSA'nın mayıs ayında yayınladığı bir uyarı ise işin daha da vahim bir yönüne dikkat çekti: Bu uygulamaların çoğu, ajanların birbirleriyle ne konuştuğuna dair çok az kayıt tutuyor veya hiç tutmuyor. Bir şeyler ters gittiğinde ise durumu yeniden yapılandıracak hiçbir iz kalmıyor.
Bu olgular bütününün desteklediği tez tek bir cümlede özetlenebilir: Yapay zekâları, onları ekip olarak yönetmeyi öğrenmeden önce ekip halinde çalışmaya yönlendiriyoruz.
Onlarca yıldır dijital güvenlik insan kimliği etrafında inşa edildi: kullanıcı, şifre, unvan, yetki. Şimdi ise kuruluşların içinde yeni bir nüfus ortaya çıkıyor: Bir durumu yorumlayabilen, bir yol seçebilen ve diğer insan dışı kimliklerden yardım isteyebilen insan dışı kimlikler. Geleneksel yazılım ile ajan arasında temel bir fark vardır. Yazılım programlanmış bir diziyi yürütür; ajan ise seçim yapar. Ve seçim yapan her varlık ikna edilebilir.