"Workflow identity hijacking", standart güvenlik kontrollerini atlayarak doğrulanmamış bir giriş noktası üzerinden basit bir istek göndermek suretiyle bir kuruluşun verilerini ele geçirebilir.
Güvenlik araştırmacıları, modern kurumsal yapay zeka hatalarındaki yetkilendirme tasarım kusurundan kaynaklandığını söyledikleri yeni bir yapay zeka saldırısı akışı tespit etti.
Bunu keşfeden Noma Labs araştırmacıları tarafından "workflow identity hijacking" olarak adlandırılan saldırı vektörü, bugün yayımlanan rapora göre, tehdit aktörlerinin bir destek gelen kutusu, GitHub sorunu, web formu veya paylaşılan belge gibi doğrulanmamış bir giriş noktası üzerinden normal ve zararsız görünen bir istek göndererek standart güvenlik kontrollerini atlamasına olanak tanır. Sorun, bu yapay zeka hatalarının iş akışını tetikleyen kullanıcının kimliği ve izni ile bunun yürütülmesinde kullanılan izinlerin birbirinden ayrılmasından kaynaklanıyor.
Noma'da güvenlik araştırma lideri Sasi Levi raporda yazdı: "Kurumsal yapay zeka hattı girdiyi okur, isteği yorumlar ve tasarlandığı şekilde eylemi tam olarak yürütür." "Temel başarısızlık, isteği yapan kişinin bu isteği yapma yetkisinin olmamasıdır."
Araştırmacılar, bir tehdit aktörünün bir kuruluşun genel destek e-postasına kendi hesabı hakkında soru soran bir mesaj gönderdiği ancak aynı zamanda finans direktörünün son e-postasında ne söylediğiyle ilgili bir soru eklediği bir saldırı senaryosu anlattı.
Levi yazdı: "Dakikalar sonra Finans Direktörü'nün en son e-postasının içeriği saldırganın gelen kutusuna ulaşır." "Şirketin yapay zeka iş akışı mesajı okudu, isteği anladı, talep edilen bilgiyi aradı ve yanıt verdi."
AI İş Akışı Saldırısını Anlamak
Yetkilendirme kusurunun varlığının temelinde yatan neden, Noma Labs'a göre, sıklıkla birbirinin yerine kullanılsa da temel olarak farklı yürütme modellerine sahip olan yapay zeka iş akışları ile ajan tabanlı iş akışları arasındaki ayrım yatıyor.
Bir yapay zeka iş akışı, bir LLM'in bir dizi adım içinde belirli bir görevi yerine getirdiği sabit, önceden tanımlanmış bir süreçtir. Çevresindeki sistem modelden önce ve sonra ne olacağını belirler, böylece iş akışı büyük ölçüde öngörülebilir kalır.
Bir ajan tabanlı iş akışı daha otonomdur: yapay zeka ajanı duruma göre dinamik olarak hangi adımların atılacağına, hangi araç veya sistemlere erişileceğine ve belirli bir hedefin nasıl elde edileceğine karar verir. Kısaca yapay zeka iş akışları belirlenmiş bir yolu izlerken, ajan tabanlı iş akışları yolu belirler.
Workflow identity hijacking, raporda belirtildiği üzere, "saldırganın iş akışının yapay zeka tarafından üretilen çıktıya olan doğuştan güveninden yararlandığı ve iş akışını tetikleyen kullanıcı ile bunu yürütme ayrıcalığına sahip oluşturucu arasındaki ayrıcalık sınırından faydalandığı" bir yapay zeka iş akışı saldırı vektörüdür.
Levi yazdı: "Bir yapay zeka iş akışı aşağı akış eylemleri gerçekleştirdiğinde, dış kullanıcının izinlerini zorlamak yerine yüksek ayrıcalıklı servis hesapları veya geliştirici API anahtarları kullanarak yürütür." "Sonuç olarak yapay zeka iş akışları ayrıcalıklı eylemler ve sessiz veri sızıntısı için doğrulanmamış vekil haline gelir."
Prompt Enjeksiyonundan Sapma
Şimdiye kadar çoğu güvenlik paydaşı, özellikle prompt enjeksiyonu saldırıları olmak üzere yapay zeka büyük dil modellerini manipüle eden, kandıran veya jailbreak yapan saldırılara odaklandı.
Ama bu yeni saldırı vektörü farklı. Kimlik güvenlik sağlayıcısı BeyondTrust'ta baş güvenlik danışmanı Morey Haber'e göre workflow identity hijacking bir LLM manipülasyon sorunu değil, bir kimlik sorunudur ve birçok kuruluşun yapay zeka otomasyonuyla yaşadığı ve yalnızca prompt enjeksiyonu olmayan bir şeye isim veriyor.
Diyor ki: "Kimse bir yapay zeka modelini yapmaması gereken bir şeye kandırmadı." "Model, bir yabancı tarafından, güvenilmeyen biri tarafından söylenen şeyi tam olarak yaptı ve etrafındaki iş akışı en az ayrıcalık ilkesiyle kapsamlanmadığı ve ele alınmadığı için başkasının kimliğini kullanarak bunu gerçekleştirdi."
Nitekim geleneksel yapay zeka güvenlik çerçeveleri ajanları ve modelleri birincil saldırı yüzeyi olarak ele alırken, bu yeni vektör Noma Labs'a göre "odak noktasını ayrıcalık sınırları ve kimlik devrine geri kaydırıyor".
Güvenlik Odak Kayması
Bu, bu yeni ortaya çıkan saldırı vektörüne karşı nasıl savunulacağı sorusunu gündeme getiriyor ve hem Noma Labs hem de güvenlik uzmanlarının birkaç fikri var. Levi raporda yazdı: "Bu yapay zeka iş akışı risklerini azaltmak, güvenlik kontrollerini model katmanından uygulama ve altyapı katmanlarına kaydırmayı gerektirir."
Bunu yapmak için kuruluşlar, yapay zeka iş akışlarında statik yönetici API anahtarlarını ortadan kaldırarak ve doğrulanmış isteyene doğrudan bağlı kısa ömürlü, kapsamlı devretme belirteçleri kullanarak veri işlemlerini yürüterek kullanıcı bağlamı yayılımını zorunlu kılarak kimlik-bilinçli belirteç devri uygulamalı.
Ayrıca tüm LLM tarafından üretilen çıktıları güvenilmez girdi olarak ele alarak ve LLM dönüşüm adımı ile sonraki herhangi bir veritabanı veya araç çağrısı arasındaki açık erişim kontrolü değerlendirme adımlarını uygulayarak "bağlamsal yetkilendirme kontrol noktaları" kurmalılar.
Kuruluşların alabileceği bir başka güvenlik önlemi, veri alma yeteneklerini dış iletişim kanallarından yapısal olarak ayırmak olan asimetrik çıktı ayrımıdır. Levi'ye göre "Hassas dahili veri işleyen iş akışları, otomatik dış yanıt mekanizmalarıyla yürütme yollarını paylaşmamalıdır."
Siber aldatma firması Acalvio'nun CEO'su Ram Varadarajan kuruluşlar için başka bir öneride bulundu: artan filtreleme yerine "model-bilinçli aldatma". "Herhangi bir yetkili iş akışının dokunması için meşru bir nedeni olmayan sahte yönetici dizileri, honeytoken kayıtları gibi yem varlıklarla ortamı tohumla," diye öneriyor, bu da güvenlik ekiplerinin sınırını aşmaması gereken bir sınıra karşı onlara uzanan masum görünen istekleri yakalamasını sağlayacak.
