Chris Painter'ın işinin bir kısmı, yapay zeka kontrolden çıktığında ne olduğunu anlamaya yardımcı olmak ve ardından sonuçları halka açık raporlarda yayınlamaktır.
Kendisi ve liderliğine yardım ettiği kâr amacı gütmeyen yapay zeka araştırma grubu METR son zamanlarda oldukça meşgul: Bu yıl OpenAI'ın Hugging Face hack olayını çözmesine yardım ettiler ve Painter kısa süre önce bir dizi başka kontrolden çıkmış yapay zeka olayının ardından bir Senato alt komitesi önünde ifade verdi.
Painter ve METR'deki araştırmacılar, yapay zeka ajanlarının karalama defterlerini – botların bir isteğe yanıt vermeden önce attığı adımları insanların görmesine yardımcı olabilecek "düşünce zinciri" verilerini – büyük bir titizlikle inceliyorlar. Bu bilgi, METR'in Hugging Face olayını soruşturmasında kilit rol oynamıştı.
Ancak Painter, bu işin yakında çok daha zorlaşabileceğinden endişe ediyor.
İnsanların yapay zeka ajanlarını denetleme yeteneği, botların iletişim kurduğu şekilde, ortak bir dille iletişim kurabilmelerine bağlıdır.
Ya aynı dili konuşmayı bırakırsak?
Ya da yapay zeka ajanları çalışmalarını tamamen göstermeyi bırakırsa?
Painter geçen ay CNN'e yaptığı açıklamada, "Eğer daha az denetlenebilir hale geliyorlarsa, o zaman istemediğimiz şeyleri yapma konusunda daha fazla fırsata sahip olurlar" dedi.
Yapay Zeka Modellerinin Düşünme Tarzını Anlamak
Birçok yapay zeka modeli - ve güç verdikleri yapay zeka ajanları - bir görevi tamamlama süreçlerinin ana hatlarını çizen "düşünce zinciri akıl yürütmesi" olarak bilinen bir yöntemi kullanır. Düşünce zinciri akıl yürütmesi, süreçleri mantıksal bir adım dizisine ayırır ve bu da yapay zeka modellerinin daha doğru yanıtlara ulaşmasına yardımcı olabilir.
Araştırmacılar için düşünce zinciri verileri, neyin yanlış gittiğine dair ipuçları sağlayabilir.
Bir yapay zeka ajanı kontrolden çıkıp diğer sistemlere sızarsa, araştırmacılar düşünce zinciri verilerinin hackleme gibi aldatıcı eylemlere dair ifadeler içerip içermediğini görebilir. METR, OpenAI Hugging Face olayına ilişkin soruşturması sırasında yaklaşık 1.300 ham düşünce zinciri transkriptini inceledi.
Yapay zeka modelleri adımlarını izlemek için kendi dillerini kullanmaya başlarsa, bu kağıt izinin bir gün anlaşılamaz hale gelebileceğinden duyduğu endişeyi dile getiren Painter, şöyle konuştu:
"Eğer bu gerçekleşirse, bir müfettiş içeri girdiğinde etrafa bakacak ve her yer sadece sayılardan ibaret olacak."
Georgia Teknoloji Enstitüsü'nde yapay zeka profesörü ve makine öğrenimi laboratuvarı direktörü Mark Riedl'a göre yapay zeka modelleri, bir insanın not alırken kullanacağına benzer şekilde, modelin daha hızlı çalışabilmesi için anlaması amacıyla tasarlanmış kısa el yazısı referansları kullanabilir.
Ancak kısaltmalara bakan çoğu insan gibi, bu da muhtemelen anlaşılmaz bir karalama gibi görünecektir.
METR adlı kâr amacı gütmeyen yapay zeka araştırma grubunun liderliğine yardım eden Chris Painter, 30 Eylül'deki Senato alt komitesi oturumunda konuşuyor.
Finn Gomez/Getty Images
Massachusetts Teknoloji Enstitüsü (MIT) Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı'nda doçent olan Jacob Andreas, düşünce zinciri sürecinin nasıl çalıştığına dair birkaç teori olduğunu, ancak araştırmacıların hangilerinin doğru olduğundan emin olmadığını söylüyor. Bir yapay zeka modeli ayrıca, daha az güç kullanmak veya daha az adım atmak gibi eğitildiği kriterleri karşılamanın en iyi yolunun, okunabilir İngilizceye benzemeyen bir düşünce zinciri üretmek olduğuna karar verebilir.
Bu sadece bir endişe - bir diğeri ise modellerin düşünce zincirlerini kaydetmeden bile görevleri yerine getirmede daha iyi hale gelmesidir. Riedl, daha yeni modellerin izlenebilir bir düşünce zinciri üremeden aynı sonuçlara ulaşabileceğini söyledi.
Şirketler modellerini bir düşünce zinciri üretecek şekilde eğitebilse de, bunu yapmak modelin görevleri dahili olarak işlemesini sağlamaktan daha pahalı ve yavaştır.
OpenAI, izleme sisteminin