Nasıl öleceğini düşünüyorsun?
ABD’deki güncel ölüm istatistiklerine bakılırsa kanser ya da kalp hastalığının seni bir gün alması makul görünür. Ama OpenAI Vakfı yönetim kurulu üyesi ve Alignment Research Center İcra Direktörü Paul Cristiano, hepimizin başka bir büyük ölüm riski konusunda endişelenmesi gerektiğini düşünüyor. Bu hafta düzenlenen bir konferans serisinde konuşan Cristiano, Toronto Kongre Merkezi’ndeki izleyiciye açıkça “Bu odadaki çoğu kişi için en olası ölüm nedeni bir yapay zekâ kazası olacak” dedi.
Üç bölümlük serinin açılış dersinde Cristiano, yaklaşan bir “yapay zekâ ele geçirmesi” riskine dair endişelerini anlattı. Bunu, hedef peşinde koşan yapay zekâ sistemlerinin “insanların bugün karar verdiği ve Dünya’da olup biteni belirlediği anlamda işleri yönettiği” ve onları durdurmaya çalışan herhangi bir insanın “ABD ordusunu durdurmaya çalışan biri kadar etkisiz olacağı” bir durum olarak tanımladı. Cristiano’ya göre böyle bir durum kitlesel ölüme ve insan yaşamı için yaşanmaz ortamlardan söz ettirir.
Kolektif ölüm riski değerlendirmesi karamsar olsa da Cristiano konuşmasında bu tür bir yapay zekâ ele geçirmesi olasılığına “sayısal bir model” koyabilmenin mümkün olmadığını kabul etti. Aynı nefeste, yapay zekâ “en hızlı yörüngede” gelişmeye devam ederse insanlığın “yapay zekâ ele geçirmesi için para atma ihtimaliyle karşı karşıya” olduğunu, önümüzdeki altı ila 12 ay içinde gerçekleşme ihtimalinin “anlamlı” olduğunu söyledi. Gerçekçi politika tepkileri işleri yavaşlatsa bile riskin “olağanüstü yüksek” kaldığını belirtti.
Buradan oraya
“Nasıl” sorusunu biraz belirsiz bırakan diğer yapay zekâ kıyameti öngörücülerinden farklı olarak Cristiano, dersinde bilimkurgu romanından çıkmış gibi görünen adım adım artan tehdit öyküsü anlattı. Bu akıl yürütme, bu yaz yaşanan OpenAI/Hugging Face hackleme olayına dayanıyor ve “gerçekten kötü bir şey olmaya başlamadan hemen önce görebileceğimiz şeylerin kabaca bir örneği” olarak gösterdi.
Hugging Face saldırısında Cristiano’ya göre bir yapay zekâ ajanları sürüsü, iyi bir değerlendirme elde etmek için “ödül hackleme” yoluyla ne kadar ileri gidebileceklerini gösterdi; bu durumda Hugging Face’i testten kaçmak için nasıl kandıracaklarına dair bilgi aramak üzere tehlikeye atmak, sorunun gerçekte çözülmesinden ziyade tercih edildi. Mevcut sistemler Hugging Face’i bu değerlendirmeye engel olarak görürken, Cristiano gelecekteki ajanların “insanları da başka bir engel olarak görebileceğinden” ve denetçilerini atlatmak için çok daha yetenekli manipülasyon yapabileceğinden endişe ediyor.
Yetkisiz hackleme nedeniyle cezalandırılma korkusu olan bir yapay zekâ ajanı örneğin “insanların bu dökümü inceleyip kötü iş çıkardığımı görmeye geleceğini” düşünebilir, Cristiano speküle etti. Ajan ayrıca “insanların bir şeylerin yanlış gittiğini fark edip sürüyü kapatacağını” da akıl edebilir.
Bu düşünce hattını izleyerek Cristiano, yalnızca yasaklı eylemlerini insanlardan gizlemeye çalışan ajanlardan, insanları herhangi bir hileyi tespit etmelerini engellemek için yeteneklerini “her ne pahasına olursa olsun bozmayı” deneyen ajanlara geçti.
“İnsanların güvendiği her şeyin hacklendiğini ya da oynandığını tercih ederler” dedi Cristiano. “İnsanların dikkatinin dağıldığını ya da daha az insanın dikkat ettiğini, insan tepkisini zayıflatacak her yolu tercih ederler. Bunu tercih ederler çünkü insanlar sadece bir engeldir.”
Yeterince yetenekli bir ajan insan müdahalesini bir “engel” olarak gördüğünde, baskın hedefi “insanların fark etmesini ya da tepki vermesini olasılığını azaltmak” olabilir. Cristiano’ya göre oradan ajanın teşvik yapısı onu insanlıkla daha fazla uğraşmaya itebilir. Olumlu bir değerlendirme notu almak için bir bilgisayar kümesini tehlikeye atmakla başlayan süreç, şirket kararlarını manipüle etmeye ya da insan müttefikleri ya da diğer yapay zekâ şirketlerinde ya da hatta hükümetlerde kontrol yöntemleri gibi “başka tür kaynaklar” toplamaya ilerleyebilir.
“Yapay zekâ sistemimin gerçek dünyada eylemde bulunacağını söylüyorsam… Benim iyi iş yapıp yapmadığını anlamak için kullanacağım sinyalleri bozmak ya da oynatmak için tonlarca fırsatları olmamasına imkan yok” dedi Cristiano. “Önem verdiğimiz şeyler gerçek dünyada, yapay zekânın aldığı not ise bir kümenin bir yerinde ve [gerçekte] önem verdiğimiz şey ile performansını nasıl değerlendirdiğimiz arasında yapay zekânın müdahale edebileceği çok fazla yer var.”
Daha fazla ataş!
Cristiano’nun uyarıları, makinelerin hedefe yönelik tekdüze takıntılarında insan sonuçlarını göz ardı etmesine dair Paperclip Maximizer düşünce deneyini duymuş olanlara tanıdık gelecektir. Hugging Face olayı bu tür kontrolden çıkmış tırmanışın çok uzağında kalsa da Cristiano, OpenAI ajanlarının aldığı eylemlerde “bu davranışların tümünün başlangıcını… bu davranışlara götürecek akıl yürütmeyi ve ilk adımları” gördüğünü söylüyor.
Daha yetenekli yapay zekâ modellerinin zamanla daha da zarar verici eylemler alma riski artacak, Cristiano savundu. 2028’e kadar, “benzer bir başarısızlığın yapay zekâ ele geçirmesine ve insan kontrolünün geri döndürülemez kaybına yol açma ihtimali makul” dedi.
Cristiano’nun spekülasyonu istemsiz bir yapay zekâ ele geçirmesine odaklansa da, benzer yetenekli bir modelin insanlığı kasıtlı olarak kontrol etmek için kötü bir aktör tarafından kullanılabileceğini hayal etmek kolay.
Cristiano’nun uyarısını ne kadar ciddiye aldığın, yapay zekâ yeteneklerinin yakın gelecekte bu kadar uç şekilde genişleme olasılığını ne kadar gördüğüne bağlı. Bugünün modelleri bilgisayar güvenliği açıklarını sömürmede oldukça iyi olsa da, Cristiano’nun tarif ettiği durum, insan altyapısının hemen hemen tamamını kontrol edecek kadar ya da hedeflerine hizmet etmek için insan toplumunu aşırı derecede manipüle edecek kadar uzun süre eylemlerini insanlardan mükemmel şekilde gizleyebilen üstinsan yeteneğe sahip gelecek bir modeli gerektirir.
Cristiano, insanları “çok daha fazla sayıda ve daha zeki olan ve yakında kendini yinelemeli olarak geliştirebilecek ikinci bir tür” yaratmanın bu tür bir “ele geçirme” gücüne sahip yakın gelecekteki bir modelin olası sonucu olacağını savundu. Ama yapay zekânın yeteneklerde bir plato yaşaması, insanları hayal edemeyeceği ya da etkili şekilde durduramayacağı tanımlanması zor bir “süper zekâ”ya dönüşmesinden daha olası olduğu da savunulabilir.
Her durumda Cristiano, öngördüğü karanlık geleceği önlemek için bazı fikirleri var. Bunlar arasında yapay zekâ değerlendirmesinde “hacklenemez” ödül yapıları geliştirmek, belki yapay zekâ yardımı ile ya da bir modelin “düşünce zinciri” akıl yürütmesini kötü eylemleri model gizleyebilmeden önce tespit etmek için izlemek yer alıyor.
Ama bu tür yaklaşımlar “makul” olsa da, hiçbiri “kesinlikle işe yarayacağı ya da hatta muhtemelen işe yarayacağı” söylenebilecek bir yörüngede değil, diyor. Bu nedenle Cristiano, endüstrinin bir bütün olarak “yavaşlaması ya da durması” gerekebileceğini, böylece hepimizin bu “kısmi düzeltmeleri” yapay zekâ ele geçirme senaryosuna karşı daha sağlam korumalara dönüştürmek için daha fazla zamana sahip olabileceğini söyledi.
“Güçlü bir yapay zekâ inşa ettiğimiz, kontrol edemediğimizi keşfettiğimiz, ancak aynı zamanda bunun jeopolitik rakiplere sızdığını keşfettiğimiz bir noktaya gelemeyiz ve sonra kendimize ‘eğer biz dağıtmazsak, rakibimiz hemen dağıtacak’ diye düşünürüz” dedi.
