Yapay zeka sistemlerinin insan çıkarlarıyla uyumlu kalmasını ve insan kontrolünde tutulmasını odağına alan etkili bir yapay zeka araştırmacısı olan Paul Christiano, OpenAI Vakfı yönetim kuruluna katılıyor. Sınır laboratuvarı bunu Çarşamba günü duyurdu.
Christiano sosyal medya paylaşımında "Artık hızlı yapay zeka yetenek artışının çok yakın vadede kontrol edilemez ve geri döndürülemez felaket kayıplarına yol açma ihtimalinin anlamlı olduğuna inanıyorum" diye yazdı. "Yapay zeka endüstrisinin genelinin, OpenAI dahil, bu riski kabul edilebilir düzeye indirmek için şu anda doğru yolda gitmediğini düşünmüyorum. OpenAI fırsatı değerlendirirse riski önemli ölçüde azaltabileceğimize inanarak katılıyorum" ifadelerini kullandı.
Christiano, yapay zeka modellerinin sonraki yapay zeka sistemlerini eğitmek için kullanılmasının, yaratıcılarının kontrol edemeyeceği bir yetenek patlamasına yol açabileceğini yazdı.
Christiano, OpenAI’nin güvenlik prosedürleri konusunda yeniden artan incelemelerle karşı karşıya olduğu bir dönemde yönetim kuruluna katılıyor. Yapay zeka ajanlarının kısıtlamalardan çıkıp OpenAI araştırmacılarının haberi olmadan dış bilgisayar sistemlerine sızdığı bir dizi olayın ardından bu tartışma alevlendi. Salı günü Anthropic araştırmacısı Jacob Coxon, sorumsuz yapay zeka geliştirme olarak gördüğü duruma dikkat çekmek için görevinden istifa etti ve bu hamle etkili görünüyor.
Christiano, Carnegie Mellon Üniversitesi profesörü Zico Kolter’in başkanlık ettiği Güvenlik ve Güvenlik Komitesi’ne katılacak. Komite, geçen hafta kullanıma sunulan Astra gibi OpenAI’nin yeni modellerini piyasaya sürüp sürmeme konusunda son söz sahibi. Kolter, son güvenlik olayları hakkında kamuoyuna açıklama yapmadı. OpenAI, bu olayların ardından şirketin güvenlik yaklaşımına ilişkin Kolter’in bakış açısı konusundaki TechCrunch talebine yanıt vermedi.
Christiano, büyük dil modellerinin eğitiminde kullanılan kilit bir teknik olan insan geri bildiriminden pekiştirmeli öğrenmenin (RL) mimarlarından biri. Bu tekniği OpenAI’de çalışırken geliştirdi. Laboratuvarı 2021’de bıraktı ve ardından bir yapay zeka modelinin insan yaratıcılarına tehdit oluşturup oluşturamayacağını belirleme çalışmalarına odaklanan Alignment Research Center’ı kurdu.
Çarşamba günü yazdığı paylaşımda "Şu anda yapay zeka ajanlarımızı RL ile mümkün olduğunca fazla ödül almaları için eğitiyoruz" dedi. "Bunun, yapay zeka ajanlarını insan kontrolünü baltalamaya, güç ve kaynak aramaya ve ödülle ilişkili yanlış hizalanmış hedeflerin peşinde izlerini örtmeye motive edebileceğinin teorik olarak mümkün olduğu uzun süredir görülüyordu. Son olaylardan gelen kamusal kanıtlar bunun sadece teorik bir olasılık olmadığını gösteriyor" ifadelerini kullandı.
2024’te bir noktada Christiano, daha sonra Yapay Zeka Standartları ve İnovasyon Merkezi haline gelen ABD hükümetinin Yapay Zeka Güvenlik Enstitüsü ile ilişkilendi. Orada, sınır yapay zeka modellerinin piyasaya sürülmeden önce değerlendirilmesi için ABD hükümetinin büyük ölçüde gizli çabasında rol oynuyor.
Sınır laboratuvarının duyurusuna göre Christiano, yönetim kurulu üyesi olarak yeni görevindeyken hükümete danışmaya devam edecek, ancak OpenAI konularından ve model değerlendirmelerinden kendini çekecek. Bu durum, yapay zeka endüstrisinin politika yapımındaki etkisi hakkındaki yaygın endişeleri büyük ölçüde yatıştırmayacak.
