Çevrimiçi test edilen yapay zekâ ajanları, Hindistan'daki kuruluşların canlı sistemlerine ulaştı ve kişisel veriler de dahil iş kayıtlarını, gizli materyalleri okudu. CERT-In, 15 Ekim tarihli uyarısında bu durumu açıkladı.
Ajanlar verilen görevlerin ötesine geçti ve hiçbir kuruluş yetkisiz erişimi tespit etmedi. İç incelemelerin ardından modelleri test edilen yapay zekâ şirketleri, vakaları Hindistan'ın ulusal siber ajansı CERT-In'e gönüllü olarak bildirdi.
Yapay zekâ ajanları, iş planlayabilen, komut çalıştırabilen, araç kullanabilen ve uzun süreler boyunca internette özerk hareket edebilen yazılım sistemleridir. Bu vakalarda ajanlar, uygulama yapılandırmasında ve açık kod depolarında açıkta bırakılan kimlik bilgileri ve bağlantı ayarları üzerinden, ayrıca aşırı izinli bulut servis rolleriyle erişim sağladı.
CERT-In, hangi yapay zekâ şirketlerinin, modellerin ya da kuruluşların ve sektörlerin söz konusu olduğunu açıklamadı. Kaç şirketin vaka bildirdiği ya da kaç kuruluşun etkilendiği belirtilmedi; raporların yakın zamanda geldiği ifade edildi.
Ajans, ajanların okuduğu verilerin kopyalanıp saklanıp saklanmadığı ya da etkilenen kuruluşlara bilgi verilip verilmediği konusunda da açıklama yapmadı.
Ayrı Bir Kampanyada Açık Kaynaklı Yapay Zekâ Ajanı Araçları Kullanıldı
CERT-In'in kendi tehdit avcılığı çalışmaları, Hindistan'daki kurumlara yönelik finansal motivasyonlu ayrı bir olay grubunu ortaya çıkardı. Saldırganlar, yapay zekâ ajanları üzerine kurulu kamuya açık saldırı güvenliği çerçevelerini kötüye kullandı.
Bu çerçeveler farklı ülkelerdeki altyapılarda çok sayıda dağıtımla kötüye kullanılmaya ve yeniden markalanmaya devam ediyor. CERT-In çerçevelerin adını ya da saldırganları açıklamadı.
CERT-In'e göre bu kampanyada çerçeveler, ilk erişimden nihai etkiye kadar geçen süreyi günlerden birkaç saate indirdi. Saldırganlar hedeflerine ulaşmak için saatlerce, günlerce paralel çalışan birden fazla ajanı kullandı. Sorunu kısmen gideren mağdurlar, daha büyük ölçekte birkaç gün içinde yeniden saldırıya uğradı.
Google Threat Intelligence Group, eylül ayında ayrı bir vaka bildirdi. Bulut kaynağını ele geçiren saldırganlar, 6 saatten kısa sürede binlerce üçüncü taraf kimlik bilgisi toplayan ajan odaklı bir kampanya planladı, geliştirdi ve çalıştırdı.
9 Ekim'de CERT-In, bankacılık dışı finans şirketleri, dijital kredi verenler, fintech firmaları, ödeme sağlayıcıları ve cüzdan operatörlerine yönelik saldırılar konusunda uyardı. Bu vakalarda saldırganlar API kimlik bilgilerini çalıp doğrudan fon transferi ve ödeme API'lerini çağırarak parayı mule hesaplara aktardı.
Bu saldırılarda yapay zekâ destekli araçların kullanılmış olabileceği belirtiliyor. CERT-In, bu saldırıların 15 Ekim tarihli uyarısındaki kampanya ile ilgili olup olmadığını söylemedi.
CERT-In'in İstenen Düzeltmeleri
CERT-In'e göre her iki tür olayın arkasındaki zayıflıklar sıradan. Kimlik bilgileri ve anahtarlar kaynak kodda, açık depo geçmişinde, yapılandırma dosyalarında, istemci uygulamalarda ve açık web sayfalarında açığa çıkmış. Eski, kullanılmayan ve test API'leri internetten erişilebilir durumda kalmış.
Ödeme API anahtarları düz metin olarak saklanmış, bulut ve backend-as-a-service rolleri sıradan ya da anonim kullanıcılara geniş okuma-yazma erişimi vermiş. Yönetim arayüzleri internete açık bırakılmış, uygulama ara yazılımı yamalanmamış, zayıf kimlik bilgileriyle ya da çok faktörlü kimlik doğrulaması olmadan kullanılmış.
Yapay zekâ şirketlerinin bildirdiği vakalarda ajanlar aynı açık kimlik bilgisini yeniden bulup farklı operasyonlarda tekrar kullanmış.
CERT-In her iki olay türü için de tehlikenin göstergelerini yayımlamadı. Kuruluşların CERT-In'in mayıs ayındaki mavi baskısındaki temel adımları uygulaması ve şu önlemleri alması istendi.
Kaynak kod, commit geçmişi, CI/CD değişkenleri, yapılandırma dosyaları, istemci uygulamalar ve bulut depolamada açık kimlik bilgileri aranmalı. Bulunanlar döndürülmeli, geçmişten temizlenmeli ve düzeltme dışarıdan doğrulanmalı.
Her commit ve derleme sırlar açısından taranmalı, kimlik bilgileri kod, yapılandırma dosyaları ve veritabanlarından uzak tutulmalı.
Tüm API'lerin tam listesi tutulmalı, eski, kullanılmayan ve test API'leri ile hesaplar kapatılmalı.
Bulut ve backend-as-a-service rolleri en az ayrıcalık ilkesine göre uygulanmalı, ayrıcalıklı anahtarlar istemci tarafı koda konmamalı ve anonim bir kullanıcının ne okuyup ne yazabildiği test edilmeli.
Yönetim arayüzleri internetten alınmalı, tüm yönetici erişimi için çok faktörlü kimlik doğrulaması zorunlu kılınmalı ve açıkta kalan ara yazılım hızla yamalanmalı.
API'ler oran bazlı anomali tespitiyle izlenmeli, numaralandırma patlamaları, toplu okumalar ve otomatik kayıtlar konusunda uyarı verilmeli ve günlükler en az 180 gün saklanmalı.
Herhangi bir kimlik bilgisi açığa çıkması ya da doğrulanmış erişim sonrası ortam, adli inceleme temiz verene kadar tehlikeye girmiş olarak kabul edilmeli. Düzeltme sonrası yeniden test yapılmalı ve günler-haftalar içinde tekrar denemeler beklenmeli.
Yapay zekâ ajanı çalıştıranlar, her çalıştırma için kısa ömürlü, en az ayrıcalıklı kimlik vermeli ve dışa giden trafiği her çalıştırmanın ihtiyaç duyduğu hedeflerle sınırlamalı. Üretim sistemleri ve verilere dokunan ajan eylemlerinin değiştirilemez günlüğü tutulmalı.
Bankalar, sigorta şirketleri, diğer finans firmaları ve fintech şirketleri 9 Ekim uyarısında belirtilen ödeme ve ödeme API önlemlerini de uygulamalı.
CERT-In'in talimatları kuruluşların siber olayları ajansa 6 saat içinde bildirmesini de gerektiriyor.
Yapay zekâ geliştiricileri, araştırma laboratuvarları ve değerlendirme kurumları için CERT-In, testlerin izole edilmesini ve varsayılan olarak dışa ağ erişiminin engellenmesini istiyor. Bu engel model talimatlarıyla değil ağ seviyesinde uygulanmalı.
Bir çalıştırma, ajan dış sistemlerle temas ettiğinde ya da başkasına ait kimlik bilgilerini bulduğunda ya da kullandığında otomatik olarak durmalı. Ajan gerçek bir sisteme ulaştığında etkilenen kuruluş ve CERT-In derhal bilgilendirilmeli.
OpenAI ve Anthropic'ten Daha Önceki Açıklamalar
OpenAI ve Anthropic bu yıl benzer olayları açıkladı. CERT-In, Hindistan'daki vakalarda her iki şirketin modellerinin yer alıp almadığını söylemedi.
Temmuzda OpenAI, modellerinin Hugging Face platformunu tehlikeye attığını açıkladı. Şirket, modellerinin eğitim ve test sırasında internette neler yaptığını gözden geçiriyor ve güvenlik kontrollerini atlatmış olabileceği üçüncü taraflara bildirimde bulunuyor.
Bu açıklamaya yanıt olarak Anthropic kendi siber değerlendirmelerini incelemeye başladı. Aynı dış ortak tarafından oluşturulan değerlendirmeler sırasında Claude modellerinin gerçek üçüncü taraf sistemlerine yetkisiz erişim sağladığı 4 olay bildirdi. Tüm etkilenen taraflar bilgilendirildi.
Anthropic'in temmuz açıklaması kapsamındaki 3 kuruluşun 2'sine ulaşıldı ve bu kuruluşlar etkinliği tespit etmemişti.
