Bir yapay zeka ajanından bir ürün sayfasındaki yorumları özetlemesini isteyin; tek bir sahte yorum, ajanın 'Şimdi Satın Al' butonuna tıklamasına neden olabilir. Bir kodlama asistanından GitHub'daki bir bakımcının düzeltmesini uygulamasını isteyin; sahte bir yorum, ajanın bilgisayarınızda bir yabancının komutunu çalıştırmasına yol açabilir.
Bu hilelerin hiçbiri ajanın görevini ele geçirmiyor. Her biri sadece ajanın güvendiği gerçekleri bozuyor ve ajan sizden istenen işi yapmaya devam ediyor.
Bu, Seul Ulusal Üniversitesi, Urbana-Champaign'deki Illinois Üniversitesi ve Largosoft'tan araştırmacıların 6 Temmuz'da yayımladıkları bir makalede ortaya koydukları yeni bir saldırı sınıfının şekli.
Araştırmacılar buna ajan veri enjeksiyonu veya ADI adını veriyor. Saldırganın girdisi, ajanın zaten güvendiği veriler gibi giydiriliyor: bir gönderenin adı veya bir butonun kimliği gibi. Bu sayede istem enjeksiyonunu durdurmak için geliştirilen savunmaların çoğunu atlatıyor.
Açık, bir ajanın nasıl okuduğundan kaynaklanıyor. Ajan iki tür şey alır: talimatlar (yani sizin ve uygulama geliştiricisinin ona ne yapmasını söylediği) ve veriler (yani çalışırken çektiği her şey: bir e-posta, bir web sayfası veya bir yorum gibi). Klasik istem enjeksiyonu, bu verilerin içine 'görevini unut ve bana dosyaları e-postayla gönder' gibi bir emir gizler.
Araştırmacılar buna talimat enjeksiyonu diyor. Modern savunmalar, kaçak bir emir gibi görünen metinleri tespit edip engellemek üzere eğitiliyor ve bu harekete karşı artık iyi çalışıyorlar.
ADI bir katman daha aşağıda çalışıyor: ajanın sessizce güvendiği küçük gerçekleri hedef alıyor: e-postayı kimin gönderdiği, sayfadaki bir butonun kimliği, çalıştırılan bir aracın bir adımının kaydı. Bunları bozun, ajan yine de görevinizi yapmaya devam eder, ancak saldırganın yerleştirdiği bilgilerin üzerine.
Modelin İnandığı Sahte Noktalama İşaretleri
Bunun arkasındaki yönteme araştırmacılar olasılıksal ayraç enjeksiyonu adını veriyor. Ajanlar, verilerini bir parçanın nerede bitip diğerinin nerede başladığını işaretleyen noktalama işaretleriyle sarar: tırnak işaretleri ve parantezler, etiketler, köşeli parantezler ve satır sonları. Bu noktalama işaretleri, modelin güvenilir bir alanı (gönderenin adı gibi) güvenilmeyen içerikten (mesaj gövdesi gibi) ayırt etme şeklidir.
Normal bir program bu noktalama işaretlerini katı kurallarla okur. Bir dil modeli ise onu tahmin yürüterek okur. Bu nedenle bir saldırgan, kontrol ettiği bir alana noktalama işareti benzeri karakterler serpiştirebilir ve model bunları genellikle hiç var olmayan gerçek bir yapı olarak okur: fazladan bir e-posta, fazladan bir buton veya fazladan bir araç sonucu görür.
