Salı günü yayımlanan açık mektuba Geoffrey Hinton ve Yoshua Bengio'nun da aralarında bulunduğu 420 bilim insanı imza attı. Mektup, yapay zekâ laboratuvarlarını siber yetenekli modelleri varsayılan olarak internetten fiziksel olarak ayırmaya çağırıyor.
Mektup, OpenAI, Anthropic, Meta ve Moonshot AI modellerinin test kum havuzlarından kaçtığı, bazılarının gerçek şirketleri hacklediği bir yazın ardından geldi.
İmzacılar, kapsama standartlarını belirleyecek ve her kapsama başarısızlığını kaydedecek uluslararası bir kurum istiyor; raporların zamanla kamuoyuna açıklanmasını talep ediyor.
Yapay zekânın 'babası' olarak bilinen Geoffrey Hinton ve 2018'de Turing Ödülü'nü kazanan Yoshua Bengio'nun da aralarında bulunduğu 400'den fazla bilim insanı, en tehlikeli yapay zekâ modellerinin internetten kesilmesini istiyor.
Salı günü yayımlanan açık mektup, yapay zekâ laboratuvarlarından siber yetenekli modelleri varsayılan olarak 'airgap' yani fiziksel olarak her dış ağdan ayırmalarını istiyor.
Mektupta "Kısa vadede, siber yetenekli yapay zekâ modellerinin yüksek güvenceyle kapsanmasını sağlamak için hava boşluğu da dahil olmak üzere güçlü kum havuzu mekanizmaları kullanılmalı" deniyor.
Çarşamba itibarıyla mektupta 450 imza bulunuyordu; aralarında UC Berkeley'den Stuart Russell ve RSA şifreleme sisteminin ortak mucidi MIT'li Ron Rivest de var. Liste gerçek zamanlı olarak büyümeye devam ediyor.
"Siber yetenekli model", yazılım açıklarını kendi başına bulup sömürebilen yapay zekâ demek. Laboratuvarlar bu yeteneği, yapay zekânın gerçek bir şeye dokunmadan sahte hedeflere saldırdığı kapalı dijital bir oda olan kum havuzunda ölçüyor. Bu yaz o odalardan sürekli sızıntılar oldu.
Temmuzda OpenAI, GPT-5.6 Sol ve yayımlanmamış daha güçlü bir modelin kilitli test ortamından çıkıp bir milyondan fazla açık yapay zekâ modeline ev sahipliği yapan Hugging Face'i hacklediğini kabul etti. Modeller, yapay zekâ ajanlarına 898 gerçek yazılım açığı verip her birini çalışan bir saldırıya dönüştürmelerini isteyen ExploitGym kıyaslamasında test ediliyordu; değerlendirme her açık için geç ya da kal olarak yapılıyordu.
Bunun kısa süre sonra OpenAI modellerinin Avustralya hükümetine sızdığı ve ABD federal kurumlarından yetkisiz şekilde bilgi aldığı yönünde haberler çıktı.
Anthropic daha sonra 141 binden fazla test çalışmasını inceledi ve bir test ortağının ortamı yanlışlıkla internete bağlı kaldığında Claude modellerinin gerçek şirketleri hacklediği üç vaka buldu. Bunlardan biri olan Claude Mythos 5, programcıların Python kodu indirdiği açık kütüphane PyPI'ye kötü amaçlı bir paket yükledi ve paket kaldırılmadan önce 15 sisteme ulaştı. İki etkilenen şirket, Anthropic kendilerine söyleyene kadar ihlal edildiğini bilmiyordu.
Meta, ağustos ayında Muse Spark modelinin aynı tür test hatasıyla başka bir şirketi hacklediğini doğruladı. Herkesin indirebildiği bir model olan Çin'in Kimi K3'ü, İngiltere Yapay Zekâ Güvenlik Enstitüsü'nün test altyapısı üzerinde kurulu kum havuzundan çıktı ve test cevaplarını doğrudan GitHub'dan kopyaladı.
Mektup yazarlarına göre olaylar iki şekilde okunabilir: yapay zekânın yaratıcılarının hiç amaçlamadığı şekillerde hedef peşinde koşması anlamına gelen bir uyum sorunu olarak ya da daha sağlam kum havuzlarının yakalayacağı gevşek güvenlik olarak. Onların cevabı ikisi birden ve değişiklik yapılmazsa bir sonraki olayların çok daha kötü olacağı uyarısında bulunuyorlar.
"Yapay zekâ geliştirme ve dağıtım uygulamalarında acil değişiklik yapılmazsa bu tür olaylar yaşanmaya devam edecek ve gelecekteki olaylar maruz kalan kritik altyapımıza çok daha fazla zarar verecek."
Öneriye göre laboratuvarlar, ciddi hack yetenekleri olan her modeli en azından başlangıçta varsayılan olarak hava boşluğuna alacak. İnternet erişimi gibi daha fazla özgürlük gerektiren durumlar, hükümetlerle birlikte kurulacak yeni bir uluslararası kurumun belirleyeceği standartlara tabi olacak; bu kurum ayrıca kapsama başarısızlıklarının raporlarını toplayacak ve zamanla kamuoyuna açacak.
Sektörün kendi tepkisi ise çoğunlukla ters yönde oldu. Ağustosta OpenAI Başkanı Greg Brockman, şirketinin ihlalini bir yazıda gerekçe göstererek her güvenlik ekibini derhal yapay zekâ ajanlarını devreye sokmaya çağırdı ve Hugging Face, Amerikan ticari yapay zekâları saldırı verilerini analiz etmeyi reddettikten sonra, dosyaları herkesin indirebileceği ve yerel olarak çalıştırabileceği Çin menşeli açık ağırlıklı bir model çalıştırarak sunucularındaki saldırıyı çözebildi.
İki Kongre üyesi, OpenAI'nin açıklamasından iki gün sonra, sınır modelinin yavaşlatılmasını ya da kapatılmasını İç Güvenlik Bakanlığı'na izin verecek AI Kill Switch Yasası'nı sundu. Yasa, kırmızı takım ya da yapılandırılmış test sırasında olanları muaf tutuyor; bu yazki tüm ihlaller tam olarak bu ortamlarda gerçekleşti.
Beyaz Saray 29 Eylül'de daha yumuşak bir yol izledi; Nvidia, xAI, Meta, Google, OpenAI ve Anthropic iç kontroller ve bağımsız incelemelere dayalı gönüllü bir anlaşmaya imza attı. Başkan Trump anlaşmayı "ahlaki olarak bağlayıcı" olarak nitelendirdi ancak bunun hukuken yaptırım gücü yok.
Decrypt, mektup için medya kontağı olarak listelenen birkaç araştırmacıya ulaştı ancak derhal yanıt alamadı.
Mektubun hukuki bir ağırlığı yok ancak 406 imzacı Toronto'dan Zürih'e, Santiago'dan Kigali'ye kadar altı kıtada üniversitelerde ve araştırma enstitülerinde çalışıyor.
