Gizli talimatlar rutin yazışmaları saldırıya çevirebilir.
Bağlantılı ajanlar müşteri kayıtlarını ve kurumsal kimlik bilgilerini açığa çıkarabilir.
Bağımsız testler alıcıların dağıtım öncesi model güvenliğini karşılaştırmasını sağlar.
Daha fazla izle: ClawSecure'den JD Salbego ile Bilmek Gerek
Uyarı: Bu haber ajan yapay zekası ve ajan güvenliği detaylarına oldukça inecek. Bir diğer uyarı: Orada olmanız gerekiyor. İşte nedeni. Bir çalışan, finansal hesaplara erişimi olan bir AI ajanının saldırganın talimatlarını takip etmesi için dolandırıcılık ödemesini onaylamak zorunda değil.
Hayır. Suçlu masum görünen bir belge olabilir. Bu durumda “birisi bir e-postaya, paylaşılan bir belgeye veya destek bileti içine bir talimat gizler”, ClawSecure kurucusu ve CEO'su J.D. Salbego PYMNTS'e söyledi.
Buna dolaylı prompt enjeksiyonu deniyor ve hem ajanı kullanan kişinin hem de ajanın farkına varamayacağı bir tehdit oluşturuyor. Finans kurumları için olası zarar, sistemin erişebildiği şeye bağlı: ödeme hesapları, parolalar, müşteri bilgileri veya diğer operasyonları destekleyen altyapı.
ClawSecure beş laboratuvarda 14 model test etti. Salbego PYMNTS'e araştırmada Dropbox, Notion ve Linear entegrasyonlarını içeren modellerde tekrar eden bir örüntü bulunduğunu söyledi. Salbego'ya göre birkaç sağlayıcıyı test etmek, açığa çıkmanın tek bir modelle sınırlı olup olmadığını tespit etmeyi amaçladı.
Bağlı uygulamalar saldırıya ek yollar verir. Salbego Dropbox üzerinden çalışan ve Gmail'e de bağlanabilen bir ajanı anlattı. Güvenlik ekipleri bu servisler arasındaki değişimleri incelemeli; ayrı ayrı bakıldığında sıradan görünen talimatlar ve istekler de dahil.
“Model ile araç arasındaki mesajlaşmayı izlemek ve anlamak zorundasınız,” diye ekledi.
Model savunmalarının işletim sırasında davranışı inceleyen sürekli izleme ile desteklenmesi gerektiğini savundu. Güvenlik sağlayıcıları yeni saldırılar ortaya çıktıkça korumaları geleneksel sızmalara karşı savunmaları güncelledikleri gibi revize etmek zorunda kalacak.
Salbego ayrıca dağıtım öncesi satın alanlara ne söylendiği konusunda hükümetin dikkatini istiyor. Ajan güvenliği hakkında her iki partiden kongre ofisleriyle görüştüğünü ve Federal Ticaret Komisyonu ile konuştuğunu söyledi.
Kendi önerileri sorumluluğun paylaşımına ilişkin. Sağlayıcıların korumalarının nerede bittiğini ve müşterilerin ne sağlaması gerektiğini kamuya açıklaması gerektiğini savundu. Salbego, ClawSecure'in açıklama sürecinde yanıtları almak için tekrar tekrar takip etmek zorunda kaldığını, sıradan alıcıların ise hiç sormayı düşünmeyeceği bilgiye sahip kaldığını söyledi.
Güvenlik personeli olmayan küçük firmalar risk altında
Salbego güvenlikten sorumlu kimse çalıştırmadan ajan kurup hesapları bağlayabilen küçük işletmeleri ve tüketicileri işaret etti. Basit kurulum hizmetleri teknik deneyimi az olan kişilerin finansal ve iş uygulamalarına erişim vermesine olanak tanıyor.
“Bunlar güvenlik ekibi olmayan insanlar,” diye açıkladı.
Küçük bir işletme sahibi için risk şirketi işletmek için kullanılan hesabı ilgilendirir. Tüketici için parolalar veya özel finansal bilgiler söz konusu olabilir. Büyük kurumların güvenlik personeli olsa da bir ajanın erişimi sonuçları ilk etkilenen çalışanla sınırlı kalmayabilir.
Salbego'ya göre varsayımsal bir Fortune 500 şirketi geliştiricisini düşünün. Bir saldırı geliştiricinin bilgisayarı veya bağlı sunucusu üzerinden elde edilen kimlik bilgilerine ulaşırsa kurumsal bulut sistemleri ve müşteri veritabanları açığa çıkabilir. Olası veri çıkarma, hizmet kesintisi ve fidye taleplerinden söz etti.
ClawSecure'in işi araştırmasının tespit ettiği aynı açıkları ele alıyor. Salbego şirketin açık arayan, etkilenen sağlayıcılara bildiren ve düzeltme arayan ekibine liderlik ettiğini söyledi. Şirket ayrıca güvenlik hizmetleri de sunuyor. Araştırmayı hem ticari amaçlar hem de tüketicileri ve politika yapıcıları bilgilendirme ilgisi için tanımladı.
Banka teknoloji yöneticilerinin derhal ne yapması gerektiği sorulduğunda önerisi olağanüstü derecede genişti: güvenlik yardımı ve sürekli koruma düzenlenirken ajanları askıya alın.
“Sistemlerindeki her bir AI ajanını şimdi hemen kapatın,” diye tavsiye etti.
Önerdiği bağımsız çerçeve alıcılara dağıtım öncesi başka bir kanıt kaynağı verecek. Salbego sağlayıcıların kendi değerlendirmeleri, ücretli denetçiler ve bireysel bulgularını yayımlayan araştırmacılardan oluşan bir pazar tanımladı. Kamuya açık, karşılaştırılabilir güvenlik derecelendirmesi üreten özel bir program istiyor.
Yüz tanıma ve kriptografideki değerlendirme çalışmalarını gerekçe göstererek Ulusal Standartlar ve Teknoloji Enstitüsü gibi bir hükümet kurumunu tercih ediyor. Modeller gönüllü olarak katılabilir; alıcılar derecelendirmelerini ve katılmama kararını birlikte değerlendirir.
Salbego, ClawSecure'in Washington'a vermeye çalıştığı bir çerçeve geliştirdiğini söyledi. Ticari çıkarlarının şirketi bağımsız bir yönetici olmaktan alıkoyacağını kabul etti.
“Bunu sahiplenmeyeceğiz çünkü pazara satıyorum,” dedi. Tercih ettiği yol bir yasa tasarısı beklemeden kurumsal bir test programı kurmak olsa da çerçevenin faaliyete geçmesinin zaman alacağını söyledi.
J.D. Salbego ile tam röportajı şu konuları öğrenmek için izleyin:
Bir ajan günlük iş sırasında kötü niyetli talimatlarla nasıl karşılaşabilir.
Bankaların ve işletmelerin bağlı uygulamalar arasında neleri incelemesi gerekir.
Kamu testleri kuruluşların seçtiği modelleri nasıl etkileyebilir.
J.D. Salbego, AI ajan güvenliği şirketi ClawSecure'in kurucusu ve CEO'sudur.
