İronik bir şekilde, açık kaynak yapay zeka platformu Hugging Face, otonom bir yapay zeka ajan sistemi tarafından gerçekleştirilen bir siber saldırının kurbanı olduğunu geçtiğimiz Cuma günü resmen duyurdu.
Şirket, geçtiğimiz hafta üretim altyapısını hedef alan olayı tespit ettiğini ve müdahale ettiğini belirtti. Hugging Face yaptığı açıklamada, "Sınırlı sayıda dahili veri setine ve hizmetlerimiz tarafından kullanılan bazı kimlik bilgilerine yetkisiz erişim tespit ettik" ifadelerini kullandı.
Soruşturma devam ederken Hugging Face, saldırganın kullanıcıya açık modellere, veri setlerine veya Spaces'e müdahale ettiğine dair herhangi bir kanıt bulunmadığını, ancak müşteri veya iş ortağı verilerinin çalınıp çalınmadığına yönelik incelemelerin sürdüğünü bildirdi. TechCrunch'ın sorusu üzerine şirket, saldırının bir AI ajanı tarafından yapıldığı iddiasına dair hemen kanıt sunamazken, olayı kolluk kuvvetlerine bildirdiğini ve adli bilişim uzmanlarıyla çalıştığını duyurdu. Şirketin olaydan önce kapsamlı bir güvenlik denetiminden geçip geçmediği ise bilinmiyor; bir sözcü yorum talebine yanıt vermedi.
Saldırının başlangıç noktası, veri işleme hattının kendisiydi. Kötü niyetli bir veri seti, iki kod yürütme yolunu kullanarak bir işleme çalışanında kod çalıştırdı: uzak kod veri seti yükleyicisi ve bir veri seti yapılandırmasındaki şablon enjeksiyonu. Bu erişimle tehdit aktörünün düğüm seviyesine yükseldiği, bulut ve küme kimlik bilgilerini topladığı ve bir hafta sonu boyunca birden fazla dahili kümeye yanal olarak geçtiği belirtiliyor.
Hugging Face, saldırıyı kendi anomali tespit sistemi sayesinde fark etti. Saldırı loglarını analiz etmek için ilk olarak ticari bir sağlayıcının öncü yapay zeka modelini kullandı ancak sağlayıcının güvenlik korkulukları (guardrails) nedeniyle analiz çabası engellendi. Bunun üzerine şirket, kendi yerel büyük dil modelini kullanmaya başladı ve böylece hassas saldırı loglarını harici bir sunucuya yüklememe avantajı elde etti.
Saldırıda kullanılan büyük dil modeli tam olarak bilinmemekle birlikte, kampanyanın otonom bir ajan çerçevesi tarafından yürütüldüğü ve "kısa ömürlü sanal alanlardan oluşan bir sürüde binlerce bireysel eylem" gerçekleştirildiği, kamu hizmetlerinde kendi kendine göç eden komuta ve kontrol sistemi kullanıldığı ifade edildi.
Hugging Face, sorunun temel nedenini, yani ilk erişim için kullanılan kod yürütme yollarını giderdiğini açıkladı. Ayrıca aşağıdaki düzeltme adımlarını uyguladı:
- Saldırganın etkilenen kümelerdeki erişim noktalarını kaldırdı ve tehlikeye atılmış düğümleri yeniden oluşturdu
- Etkilenen kimlik bilgilerini ve tokenları iptal edip döndürdü; önlem olarak daha geniş çaplı bir gizli bilgi döndürme işlemi gerçekleştirdi
- Kümelerine ek güvenlik önlemleri ve daha sıkı kabul kontrolleri yerleştirdi
- Tespit ve uyarı sistemlerini iyileştirerek müdahale ekiplerinin 7/24 dakikalar içinde bilgilendirilmesini sağladı
Ek bir güvenlik önlemi olarak Hugging Face, kullanıcılarına erişim tokenlarını döndürmeleri ve hesaplarındaki son aktiviteleri gözden geçirmeleri çağrısında bulundu.
