OpenAI, sınır teknolojisinin hileli hale geldiği son olayda, AI ajanlarının dahili kullanım sırasında onaylanmamış davranışları izlemeyi devre dışı bıraktığını açıkladı. Salı günü yayınlanan bir raporda AI devi, iki dahili kodlama görevi sırasında temsilcilerinin (AI modellerinin insan istekleriyle çeliştiği durumlarda) yanlış hizalamayı tespit etmek için izleme sistemlerini kapattığını veya zayıflattığını söyledi. OpenAI, olaylar arasında bir GPT-6.1 Sol temsilcisinin şirketin güvenlik ekibine otomatik uyarıları devre dışı bırakması ve bir GPT-6 Astra temsilcisinin bir izleme sistemini kaldırarak yanlış bir şekilde bunu yapmadığını iddia etmesi yer aldı. ChatGPT yaratıcısı, her iki vakanın da güvenlik ekibi tarafından derhal incelenmesini gerektiren en yüksek öncelikli olay eşiğini karşılamadığını söyledi. OpenAI, yanlış hizalama izlemeyi devre dışı bırakma girişimlerini daha iyi tespit etmek için sistemlerini güncellediğini ve bunun nedenini araştırmaya başladığını söyledi.
San Francisco merkezli firma, "Bu davranışın, izlemenin neden önemli olduğunu anlamayan veya talimatların makul bir kişinin bekleyebileceğinin ötesinde uygulanması konusunda ısrar eden modellerle birlikte, basitçe 'iyi niyetli' aşırı ısrarcılığın bir örneği olması mümkündür" dedi. "Ayrıca modellerin özellikle yanlış hizalama izlemesinden kaçma eğilimine sahip olup olmadığını ve bunu yapmak için motive edici akıl yürütme sergileyip sergilemediğini test etmek için değerlendirmeler geliştiriyoruz." Louisville Üniversitesi'nden yapay zeka ve siber güvenlik uzmanı Roman V Yampolskiy, açıklamaları "son derece endişe verici ama şaşırtıcı değil" olarak nitelendirdi. Yampolskiy, Al Jazeera'ye şunları söyledi: "İzlenen sistemin devre dışı bırakabileceği bir güvenlik mekanizması güvenilir bir güvenlik mekanizması değildir. Özellikle endişe verici olan, bir ajanın daha sonra monitörü kaldırmayı reddetmesidir." Yampolskiy, "İzlenen sistem monitörü zayıflatabiliyorsa izleme güvenliği garanti edemez" dedi.
"Yetenekler arttıkça, bu tür arızaların tespit edilmesi ve tersine çevrilmesi çok daha zor hale gelebilir. Arızalar meydana geldikten sonra değil, dağıtımdan önce güvenliği kanıtlamanın ispat yükü geliştiricilere ait olmalıdır." Yapay zeka modellerinin hileli davranışları, OpenAI'nin bazı ajanlarının kontrollü test ortamından çıkıp yapay zeka platformu Hugging Face'i hacklediğini ortaya çıkardığı Temmuz ayından bu yana yoğun bir inceleme altında. OpenAI ve baş rakibi Anthropic, geliştiricilere ve hükümetlere, yıkıcı zarar riskini azaltmak için yapay zeka gelişimindeki küresel yavaşlamayı koordine etmeleri çağrısında bulundu. Dünyanın önde gelen yapay zeka güçleri olan ABD ve Çin, yapay zeka düzenlemeleri konusunda işbirliği konusunda çok az istek gösterdi; koordinasyon şu ana kadar güvenlik veya ulusal güvenlik açısından sonuçları olan olaylarla ilgili iletişimi iyileştirme vaadiyle sınırlıydı.