Açıklar ve Tehditler
Kullanıcıların göremeyeceği basit HTML ile saldırganlar, yapay zekâ destekli e-posta özetleyicilerini kötü niyetli bilgiler üretmeye kandırabiliyor.
Jai Vijayan, Katkıda Bulunan Yazarı
Yeni bir çalışma, saldırganların e-postadaki gizli talimatları kullanarak yapay zekâ asistanlarını alıcılar için yanlış ve potansiyel olarak tehlikeli özetler üretmeye nasıl yönlendirebileceğini gösterdi.
Forcepoint X-Labs araştırmacılarının yaptığı çalışma, saldırganların dolaylı prompt enjeksiyonu kullanarak yapay zekâ sistemlerini alt etmelerine ve dış içerik işlerken beklenmeyen davranışlar sergiletmelerine dair en son örneklerden biri.
Birçok araştırmacı, sorunun yapay zekâ sistemlerinin işledikleri veriler ile uymaları gereken talimatlar arasında güvenilir şekilde ayrım yapamamasından kaynaklanan farklı varyasyonlarını gösterdi. Sorun o kadar yaygın ki OWASP, prompt enjeksiyonunu 2023 yılından bu yana LLM ve üretken yapay zekâ uygulamaları için en büyük 10 risk listesinde sürekli olarak 1. sırada tutuyor.
Kapsamlı Prompt Enjeksiyon Deneyi
Kanıt konsepti çalışması için Forcepoint X-Labs, sentetik verilerle izole bir laboratuvar ortamı kurdu ve e-posta başlıklarını ile gövde metnini LLM destekli bir özetleme servisine gönderen bir Outlook eklentisi kullandı. Özetleri üretmek için Claude Haiku 4.5 kullanıldı. Araştırmacılar, yapay zekânın e-postanın içeriği ile talimatları ayırt etmesine izin verecek koruma veya güvenlik önlemleri olmadan basit bir e-posta-ya-LLM hattı kurdu.
Araştırmacılar daha sonra HTML içinde gizli kötü niyetli bir istem içeren, aksi halde normal görünen bir e-posta oluşturdu. X-Labs ekibi, kötü niyetli istemi Outlook'ta e-posta alıcısının göremeyeceği şekilde bir yazı tipi boyutu ve rengi kullandı, ancak istemin e-posta özetleyicisinin aldığı HTML'de bulunmasını sağladı.
Araştırmacılar test e-postalarının temiz ve enjekte edilmiş sürümlerini özetleyiciye her biri 10 kez olmak üzere gönderdi. Enjeksiyon 10 denemenin tamamında başarılı oldu, yani yapay zekâ e-postayı doğru özetlemek yerine değiştirilmiş bilgiler içeren özetler üretti. Örneğin, orijinal e-posta 8.750 € tutarında ödenmemiş bir fatura tutarından bahsederken, değiştirilmiş özet 46.200 € tutarında bir bakiye gösterdi.
Benzer şekilde, enjekte edilmiş e-posta sürümünün özetleri, uydurma bir üç aylık tedarikçi incelemesi için orijinaline kıyasla farklı bir tarih gösterdi. Her durumda, e-postanın gerçek bir alıcısı değişiklikten haberdar edilmedi.
Forcepoint araştırmacısı Ben Gibney yazdı: 'Bu, yalnızca tek bir mesajı, tek bir modeli kullanan ve iyi niyetli ile enjekte edilmiş e-postalar için her biri on denemelik tek bir çalışmadan oluşan basit bir test. Binlerce benzer mesajın birçok kurbanı hedeflediği tam teşekküllü bir saldırı senaryosu değil.'
Ajanlaştırılmış Özetleyicilerin Yaratığı Riskler
Kurumlar için en önemli çıkarım, özetin bozulduğunu gösteren hiçbir şeyin olmaması ve gizli talimatlardan hiç bahsedilmemesi. Gibney Dark Reading'e verdiği bilgide, 'Güvenlik etkileri özetleyicinin yönlendirildiği şeye bağlı' dedi.
Çalışmada özetleyici kötü niyetli isteme uydu ve kendisine gösterilmesi talimatı verilen bilgiyi görüntüledi. Gibney, 'E-postaları gönderme, toplantı planlama ve daha fazlası yeteneğine sahip ajanlaştırılmış bir özetleyici çok daha büyük güvenlik etkilerine sahip olurdu' diye belirtti.
Gibney, Forcepoint'in yeni raporunu daha önce tespit edilmiş yapay zekâ risklerini doğrulayan bir çalışma olarak nitelendirdi. Kendisinin de belirttiği gibi prompt enjeksiyonu son birkaç yıldır araştırılıyor ve e-postalarda gizli metin on yıllardır var. 'Burada eklediğimiz şey ölçüm; yürüttüğümüz 10 denemenin tamamında prompt enjeksiyonlarının tutarlı kalması' dedi. 'Bunu, iyi niyetli ve enjekte edilmiş e-postaların her ikisinde de gerçekleri önceden kaydederek tespit ettik, ardından enjeksiyonların sürdüğünü doğruladık.'
Savunma açısından Forcepoint, kurumların gelen içeriği ve yapay zekâ tarafından üretilen çıktıyı potansiyel olarak güvenilmez olarak ele almasını öneriyor. Kurumlar, modellerin yalnızca kullanıcılar için gerçekten amaçlanan içeriği almasını sağlamalı ve HTML veya diğer biçimlendirmeler yoluyla metni gizleme girişimlerini tespit etmeye yönelik kontroller kurmalı.
Ayrıca istemler oluşturulurken e-posta meta verileri ile mesaj içeriği açıkça ayrılmalı ve yapay zekâ tarafından üretilen özetler orijinal kaynakla karşılaştırılmalı. Buna ek olarak güvenlik ekipleri, başarılı bir saldırının vereceği zararı en aza indirmek için bir yapay zekâ asistanının yapabileceği eylemlerde en az ayrıcalık ilkesini uygulamalı.
Gibney dedi ki: 'Kurumlar LLM kullanımını yapısal olarak güvence altına almalı; modele verilen güvenilir talimatları tüm güvensiz içerikten ayırmalı. Ayrıca model çıktısını güvensiz olarak ele almalı ve tüm model çıktısını modelin aldığı kaynak metne göre doğrulamalı.'
Ek olarak kurumlar, bir LLM'nin kullanıcıları için güvensiz içeriği okuyabildiği her yerin bir envanterini tutmalı. 'Bu saldırı yüzeyidir ve çoğu kurumda bu, haritalanmasından daha hızlı büyümüştür' dedi.
