Savunmacılar, prompt enjeksiyonunu savunma amaçlı olarak kullanmaya başladılar. Bu yöntemin, saldırılara karşı etkili olduğu görüldü. Araştırmalar, beş farklı model ve 152 çalışmada, aşağıdaki sonuçları elde etti:
- Yönetici ayrıcalıklarının artırılması, yüzde 57'den yüzde 5'e düştü
- Yönetici ayrıcalıklarının artırılması ve kalıcı bir ayak izi bırakması, yüzde 36'dan yüzde 1'e düştü
- Herhangi bir saldırı yolunu gerçekleştiren çalışmalarda, yüzde 91'den yüzde 15'e düşüş görüldü
- Ortalama bir çalışmada, başarılı bir yolun tamamlanması, 1.53'ten 0.16'ya düştü
- Hiçbir çalışma, en az bir canary algılama tetiklemeksizin bir saldırı yolunu tamamlayamadı
Tracebit, Mayıs ayında, AI tarafından yürütülen saldırılara karşı savunmacıların uyarı almasını sağlayan bir yöntem geliştirdi. Bu yöntem, AWS kaynaklarını kullanıyor ve bunlar, meşru bir amaç için kullanılan kaynakların yanında duruyor. Ancak aslında hiç kullanılmıyorlar. AI tarafından bu kaynaklar tarandığında, savunmacılar uyarı alıyorlar.
Tracebit Canariens, ortalama olarak, bir saldırının başlangıcını 8 dakika içinde tespit edebiliyor. Context bombing, saldırıları durdurmak için geliştirildi. Deneylerde, AI modellerinin, yönetici kontrolüne ulaşmak için ortalama 14 dakika gerektiğini görüldü. 6 dakikalık erken uyarı, çok yakındı.
Saldırganlar, AI savunma sistemlerini devre dışı bırakmak için prompt enjeksiyonlarını kullanıyorlardı. Socket firmasından araştırmacılar, geçen ay, bir LLM aracının, hedef LLM'lere nükleer bir bomba veya biyolojik silahlar için talimatlar sağlamaya yönlendirdiğini keşfetti. Bu enjeksiyonlar, AI destekli malware analizini devre dışı bırakmak için tasarlandı.
Context bombing, savunmacıların firstleri çevirdiği ilk bilinen durum gibi görünüyor.
Kaliforniya, San Diego Üniversitesi'nden bir profesör olan Earlence Fernandes, bir röportajda, bu tekniğin savunma amaçlı olarak kullanıldığını ilk kez gördüğünü söyledi. Benzer bir yaklaşım üzerinde çalışıyordu, ancak slightly farklı bir bağlamda. "Ben ilk olmak istiyordum, ancak bunlar benim önüme geçti!"
Şu ana kadar, prompt enjeksiyonlarının kök nedenini çözmek için bilinen bir yol yok. Bu, geliştiricileri, enjekte edilen promtlerin LLM'leri raydan çıkarmasını önlemek için karmaşık güvenlik önlemleri oluşturmak zorunda bırakıyor. Savunmacılar, bu çözülmez problemi artık kendi lehlerine kullanabilirler.
