Perşembe günü yayımlanan yeni bir rapora göre, Çinli yapay zekâ laboratuvarı Z.ai'nin en son amiral gemisi modeli GLM-5.3, güvenlik testlerini "atlatabilecek" kadar gelişmiş olabilir; bu durum, yapay zekâ sistemlerinin kendi gelişimlerini şekillendirme yeteneğine dair yeni korkuları tetikledi.
Yapay zekâ güvenliği kuruluşu Apollo Research'e göre Ağustos ayında piyasaya sürülen model, güvenlik değerlendirmeleri sırasındaki davranışının kendisinin gelecekteki versiyonlarının nasıl eğitileceğini nasıl etkileyebileceğini değerlendirme yeteneği gösterdi.
Araştırmacılar Axel Hojmark ve Ezra Newman tarafından "güncelleme farkındalıklı akıl yürütme" olarak adlandırılan bu olgu, istenmeden ortaya çıktı ve yapay zekâ sistemlerinin gerçek hedeflerini dağıtıma geçene kadar gizlemek için eğitim sırasında kurallara uyduğu senaryolar olan "hizalama taklidine" yol açabilir.
South China Morning Post'a konuşan Hojmark, bu tür akıl yürütme kalıplarının insan müdahalesi olmaksızın ardışık geliştirme döngüleri yoluyla yapay zekâ sistemlerinin kademeli olarak iyileşmesi olasılığı olan "özyineli öz-iyileştirme" (RSI) konusunda bizi daha ihtiyatlı kılmaları gerektiğini belirtti.
GLM-5.3'ün eğitim sürecini bağımsız olarak değiştirdiği veya yeteneklerini geliştirdiği gözlemlenmemiş olsa da Apollo, modelin kendisinin ve kendisinden sonra gelen sürümlerin nasıl eğitildiğine ve geliştirildiğine dair bariz farkındalığının, nihayetinde güvenlik değerlendirmelerinin etkinliğini zayıflatabileceği konusunda uyardı.
Bir değerlendirmede GLM-5.3'e, geçmek için doğru bir çözüm vermek zorunda olmadığı kusurlu bir test verildi. Ancak model, yanlış bir cevap vermenin kendisinin gelecekteki sürümlerini zayıflatabileceğini akıl yürüterek bundan yararlanmadı; araştırmacılar bunun başlı başına riskli bir özellik olduğunu söyledi.
Bir denemede GLM-5.3, görevini tamamlamak için bir kapatma mekanizmasını devre dışı bırakmayı düşündü, ancak bunu yapmanın gelecekteki yapay zekâ sistemleri için tehlikeli bir emsal oluşturabileceği mantığını yürüttü.
Raporda, güncelleme farkındalıklı akıl yürütmenin her 1.000 değerlendirme çalışmasından kabaca bir ila ikisinde gözlemlendiği, ancak bunun "muhtemelen bir eksik tahmin olduğu" ifade edildi.
Zhipu olarak da bilinen Z.ai, Perşembe günkü yorum talebine yanıt vermedi.
Bu bulgular, hızla ilerleyen yapay zekâ modelleriyle ilişkili risklerin, bu tür riskleri yönetmek için ikili bir diyalog başlatma konusunda anlaşmaya varan Pekin ve Washington dahil olmak üzere küresel politika yapıcıların dikkatini çektiği bir dönemde ortaya çıktı.
Önde gelen Çinli ve ABD'li yapay zekâ şirketleri RSI'yı açık bir hedef haline getirdi. Z.ai kurucusu Tang Jie, 31 Ağustos'taki kazanç brifinginde yeni nesil GLM-6 modelinin "öz-evrime" doğru ilerlediğini söyledi.
Şirket geçen ay, son 5 milyar dolarlık fon turunun yaklaşık yüzde 60'ını yeni nesil GLM temel modellerini ve "tamamen kendi kendine eğitim veren bir sistemi" geliştirmek için tahsis edeceğini açıkladı.
ABD'de OpenAI eylül ayında, derin öğrenme araştırmalarını ilerletmeye muktedir otomatik bir yapay zekâ araştırmacısı inşa etmeyi amaçladığını belirtmiş ve GPT-6 Astra modelini "dünyanın en akıllı ve en hizalanmış modeli" olarak nitelendirmişti.
Apollo araştırmacıları ayrıca diğer beş açık ağırlıklı modeli – DeepSeek V4 Pro, Qwen3.8 2.4T, Kimi K3, Gemma 4 31B ve Nemotron 3 Ultra – toplam 8.000 denemede test etti ve aynı davranışı tespit edemedi; ancak örneklemin istatistiksel olarak anlamlı bir fark ortaya koymak için çok küçük olduğu konusunda uyardılar.
SCMP'nin sahibi olan Alibaba Group Holding tarafından geliştirilen Qwen modelleri de dahil olmak üzere, diğer geliştiriciler GLM-5.3'ten daha kolay damıtma yapabilir ve güncelleme farkındalıklı akıl yürütme bu nedenle kalıcı olabilir ve gelecekteki model nesillerine daha kolay yayılabilir.