Aylardır yapay zeka devleri, modellerinin kötü niyetli bilgisayar korsanları tarafından kullanılmasını sınırlamak için özel programlar ve katı güvenlik duvarları geliştiriyor. Ancak bu sınırlamalar, meşru ağ savunucularının ve saldırı odaklı siber güvenlik araştırmacılarının çalışmalarını da engelliyor.
Haziran ayında ABD hükümeti, Anthropic'in çok konuşulan yapay zeka modelleri Mythos ve Fable'a ihracat kontrol kısıtlamaları getirdi. Bu hamle, en azından kısmen, modellerin güvenlik duvarlarını aşarak kötü niyetli siber saldırılar düzenlemenin mümkün olduğunu iddia eden bir rapor nedeniyle yapıldı.
Olayın gerçekten bir 'jailbreak' korkusundan kaynaklanıp kaynaklanmadığına bakılmaksızın, Anthropic'in Mythos'u defalarca, yalnızca dikkatle seçilmiş kullanıcılara ve katı güvenlik duvarlarıyla verilebilecek bir tür kıyamet siber makinesi olarak pazarladığı bir gerçek. (Fable 5 ve Mythos 5 üzerindeki ihracat kontrolleri daha sonra kaldırıldı. Fable 5, 1 Temmuz'da genel erişime geri döndü; Mythos 5 ise hükümetin inceleme sürecinin bir parçası olarak yalnızca seçilmiş ABD kuruluşlarına yeniden sunuldu.)
Bu tür bir kısıtlama yalnızca Mythos'a özgü değil. Hem Anthropic diğer modelleriyle hem de OpenAI, siber güvenlik araştırmacılarına başvurarak onay alabilecekleri ve onaylanmaları halinde daha az siber güvenlik kısıtlamasına sahip modellere erişebilecekleri programlar sunuyor: OpenAI'in 'Siber Savunma için Güvenilir Erişim' ve Anthropic'in 'Siber Doğrulama Programı'.
Bu güvenlik duvarları, özellikle de sistemlerdeki bilinmeyen güvenlik açıklarını bulup suçlulardan önce bunları kullanmanın yollarını geliştirmekle görevli araştırmacılar tarafından geniş çapta eleştiriliyor.
Geçtiğimiz günlerde bir siber güvenlik podcast'ine katılan tanınmış güvenlik araştırmacısı Mark Dowd, "Bu rastgele büyük şirketlerin güvenlikte neyin güvenli olup olmadığı konusunda keyfi kararlar alması beni rahatsız ediyor" dedi.
Dowd, onlarca yıldır 'sıfır gün' açıkları bulup bunları yazılım üreticilerine bildirmek yerine Batılı hükümetlere satarak geçirdi. Hükümetler, istihbarat operasyonları için faydalı olduğundan, açık kalan güvenlik açıkları için prim ödüyor.
Dowd, çalışmalarının onu önyargılı hale getirebileceğini kabul etti ancak yalnız değil. Saldırı odaklı siber güvenlik alanında çalışan birçok kişi, TechCrunch'a yapay zeka araçlarını nasıl kullandıklarını ve güvenlik duvarlarıyla nasıl başa çıktıklarını anlattı.
Güvenlik danışmanlık devi NCC Group'un baş bilim insanı Chris Anley, bir yapay zeka modelinden bir hatayı kullanmayı denemesini istemenin, bunun gerçek bir güvenlik açığı olup olmadığını doğrulamak için önemli bir adım olduğunu söyledi. Ancak bir güvenlik duvarı modelin soruyu doğrudan yanıtlamayı reddetmesine neden olursa, bu durum savunmacılara zarar verir.
Anley, "İşte saldırı ve savunma ile güvenlik duvarlarının devreye girdiği nokta burası. Çünkü 'bu kodu düzelt' komutu hem savunma için gerekli bir mekanizma hem de kod tabanındaki kritik güvenlik açıklarını bulmak için bir yol haritasıdır. Yani aynı araç aynı anda hem saldırı hem de savunma aracıdır ve ikisi birbirinden ayrılamaz" dedi.
Anley, "Bu bir çekiç gibi. Çekiç olmadan ev inşa edemezsiniz. Kesinlikle bir araçtır, ancak aynı zamanda indirgenemez bir şekilde bir silahtır" diye ekledi.
Kendisi ve meslektaşları böyle bir engelle karşılaştıklarında, bazen hiçbir güvenlik duvarı olmayan açık kaynaklı yapay zeka modellerine yöneliyor.
Bilinmeyen güvenlik açıklarını geliştiren, satın alan ve devlet kurumlarına satan tanınmış şirket CrowdFense'in baş teknoloji sorumlusu Paolo Stagno da Dowd'a katılarak, yapay zeka şirketlerinin onaylı programları ve güvenlik duvarlarıyla "müşterilere esasen bebek bakıcılığı yapılması gereken çocuklar gibi davrandığını" söyledi.
Stagno, kendisinin ve meslektaşlarının öncü modelleri yalnızca tersine mühendislik için kullandıklarını söyledi. Güvenlik açıklarını bulmak veya istismarlar geliştirmek için yapay zeka kullanmaktan kaçınıyorlar çünkü bu çalışmayı bulut tabanlı bir modele beslemek, hassas güvenlik açığı verilerinin sızması veya gelecekteki eğitim çalışmalarına dahil olması riskini taşıyor. Bu adım için, model dışında veri paylaşımına dayanmadıkları için yerel olarak çalıştırılan açık kaynak modelleri kullanıyorlar.
Sıfır gün açıkları bulan ve istismarlar geliştiren güvenlik araştırmacısı Giuseppe Cali ise güvenlik duvarlarının çalışmalarını engellemediğini söyledi. Bunun nedeni, yapay zekayı saldırı amaçlı kullanmaması; onun yerine ilk tersine mühendislik için, analiz ettiği kodu anlamak için ve destekleyici araçlar oluşturmak için kullanması. Cali, yapay zeka araçlarının süreci hızlandırabildiğini ve güvenlik açıklarını keşfetmeye odaklanmasını sağladığını belirtti.
Cali, "Hata keşfini ve silahlandırmayı hâlâ kendim yapmak istiyorum ve yarın tüm güvenlik duvarları kalksa bile bu değişmez. Hatalarımı kıskanıyorum ve bu oyunu modellerin benim için oynamasına izin vermeyecek kadar çok seviyorum" dedi.
Basınla konuşmaya yetkisi olmadığı için isminin açıklanmasını istemeyen bir akıllı telefon bileşeni üreticisindeki araştırmacı, işvereninin Anthropic'in Siber Doğrulama Programı'na dahil olmadığını ve bu nedenle araçlarının, güvenlik duvarları çok katı olduğu için güvenlik açıklarını bulmada neredeyse hiç işe yaramadığını söyledi.
Araştırmacı, "Güvenlikle ilgili bir şey yaptığımızı fark ederse, hemen duruyor ve kullanılamaz hale geliyor" dedi.
Siber güvenlik firması RemoteThreat'in CEO'su ve saldırı güvenliği ve yapay zeka odaklı bir etkinlik olan Offensive AI Con'un kurucusu Chris Thompson, öncü yapay zeka modellerini kullanma deneyiminde güvenlik duvarlarının tutarsız olabildiğini ve her gün farklı çalıştığını söyledi. Bu durum, Anthropic ve OpenAI'in onaylı programlarının daha gevşek sınırları içinde bile geçerli.
Thompson, "Pratik etkisi, çekirdek güvenlik programı üzerinde çalışmak yerine modellerle pazarlık yaparak çok zaman harcamanız oluyor. Bir güvenlik açığını analiz edip kullanılabilirliğini değerlendirmek yerine, neden tutarsız sonuçlar aldığınızı veya modellerin neden çıktıyı aşırı temizlediğini anlamaya çalışıyorsunuz" dedi.
Thompson, bunun bir sonucu olarak araştırmacıların GLM gibi Çin yapımı açık kaynak modellere yöneldiğini veya itildiğini söyledi. Bu modeller, herhangi bir inceleme veya kullanım kısıtlaması olmaksızın yerel olarak çalıştırılabiliyor.
Thompson, "Sorumlu araştırmacılar ABD tarafından yönetilen sistemlerden uzaklaştırılıp yabancı sistemlere itiliyor. Bence bu güvenlik duvarlarının varlığı yarardan çok zarar getiriyor" dedi.
Thompson, kısıtlamaları daha da sıkılaştırmak yerine, yapay zeka öncü laboratuvarlarının programlarını açması, sorumlu erişim sağlaması ve araçlarını kötüye kullananları hesap verebilir kılması çağrısında bulundu. Aksi takdirde savunmacıların yapay zeka yarışını kaybedeceğini savundu.
Thompson, "Büyük bir fırtına geliyor. Daha önce hiç olmadığı kadar hızlı ve büyük ölçekte saldırı dalgaları olacak. Ancak bir fark yaratmaya çalışan aynı güvenlik danışmanlık firmaları ve meşru araştırmacılar şu anda engelleniyor" dedi.
