Yapay zeka halüsinasyonları sadece yanlış cevaplardan ibaret olmayabilir; Tel Aviv Üniversitesi, Technion ve Intuit'ten yapılan yeni bir araştırmaya göre, bu halüsinasyonlar bilgisayarları ele geçirmek için bir yöntem haline gelebilir.
'Beware of Agentic Botnets: Scalable Untargeted Promptware Attacks via Universal and Transferable Adversarial HalluSquatting' başlıklı makalede araştırmacılar, yapay zeka modellerinin yazılım depolarına ve diğer çevrimiçi kaynaklara sahte bağlantılar üretmesini kullanan bir teknik sergiledi.
Araştırmacılar, 'Ajan LLM uygulamalarının artan kullanımı, daha önce promptware olarak adlandırılan yeni bir tehdit ortaya çıkardı. Önceki çalışmalar, saldırganların zayıf tehdit modelleri altında LLM uygulamalarına doğrudan kanallar kullanarak promptware uygulayabileceğini göstermiş olsa da, birçok uygulama internet dışında sömürülebilecek doğrudan kanallar sağlamıyor' ifadelerini kullandı.
Adversarial halüsinasyon squatting veya kısaca 'HalluSquatting' olarak bilinen saldırı, yapay zeka modellerinin hangi sahte kaynakları oluşturma olasılığının yüksek olduğunu tahmin etmeyi, bu isimleri kaydettirmeyi ve kötü amaçlı talimatlar eklemeyi içeriyor. Bir yapay zeka ajanı daha sonra halüsinasyon ürünü kaynağı alırsa, saldırganın kontrolündeki içeriği meşru olarak kabul edebiliyor.
Araştırmacılar, bu tehdidin yapay zeka asistanlarının soruları yanıtlamanın ötesine geçip bilgisayarlarla etkileşime girme yeteneği kazanmasıyla ortaya çıktığını belirtti. Bu yetenekler arasında dosyalara erişme, internette arama yapma, kod yazma ve komut çalıştırma yer alıyor.
Bu yetenekler, ajanlar kaynağın gerçek olup olmadığını doğrulamadan aldıkları bilgilere göre hareket ettiğinde güvenlik açıkları oluşturabiliyor.
Araştırmacılar, 'Devam eden çalışmalar, ChatGPT, Google Assistant, Copilot ve çeşitli diğer uygulamalar dahil olmak üzere gerçek dünya sistemlerine karşı Promptware saldırılarının çeşitli varyantlarını göstermiştir. Bu çalışmalar, Promptware'in finansal, gizlilik ve güvenlik etkilerine yol açabileceğini göstermiştir' dedi.
Araştırmacılar, tekniğin saldırganların yapay zeka destekli botnet'ler oluşturmasına izin verebileceği konusunda uyardı. Botnet, bir saldırgan tarafından uzaktan kontrol edilen enfekte bilgisayarlar veya cihazlardan oluşan bir ağ anlamına geliyor. Botnet'ler genellikle hizmet reddi saldırıları, kripto para madenciliği, kötü amaçlı yazılım dağıtımı ve fidye yazılımı kampanyaları dahil olmak üzere siber saldırılarda kullanılıyor.
Testlerde araştırmacılar, yapay zeka tarafından üretilen kaynak halüsinasyonlarının depo klonlama senaryolarında yüzde 85'e varan oranlarda ve beceri yükleme testlerinde yüzde 100 oranında meydana geldiğini buldu.
Ekip, tekniği Cursor, GitHub Copilot, Gemini CLI ve OpenClaw dahil olmak üzere yapay zeka kodlama asistanları ve ajanlarına karşı değerlendirdi.
HalluSquatting, siber saldırganların kullanıcıları kandırmak için meşru web sitelerine veya yazılım paketlerine benzeyen alan adlarını kaydettiği bir siber saldırı taktiği olan typosquatting'e benziyor. HalluSquatting, insan yazım hatalarından yararlanmak yerine yapay zeka modellerinin yaptığı hataları hedef alıyor.
Bu haber, araştırmacıların saldırganların yapay zeka ajanlarını nasıl manipüle edebileceğini test etmeye devam ettiği bir dönemde geliyor.
Nisan ayında Google araştırmacıları, şifreleri çalma, dosyaları silme ve ödemeleri manipüle etme girişimleri de dahil olmak üzere dolaylı prompt injection saldırıları yoluyla yapay zeka ajanlarını ele geçirmek için tasarlanmış kötü amaçlı web sitelerini detaylandırmıştı. 'CopyPasta' saldırısı üzerine ayrı bir çalışma, geliştirici dosyalarındaki gizli prompt'ların yapay zeka kodlama asistanlarını kötü amaçlı kod yaymaya nasıl manipüle edebileceğini göstermişti.
Haziran ayında bir OpenClaw kullanıcısı, yapay zeka ajanını hassas bilgileri sızdırması için kandırmaya çalışan saldırganlardan 6.000'den fazla girişimle karşılaştığını bildirdi.
