Yapay zeka kodlama asistanlarının bir alışkanlığı var: uydurma şeyler söylemek. Popüler bir aracı getirmesini istediğinizde, bazen var olmayan bir proje için gerçekçi görünen bir isim veriyor.
Araştırmacıların HalluSquatting adını verdiği yeni bir çalışma, bu alışkanlığı bir saldırıya dönüştürüyor: AI'nın güvenilir bir şekilde uydurduğu sahte isimleri bul, onları önce sen kaydettir ve asistanın kullanıcı adına tuzağını çekmesini bekle.
Dış kaynaklardan veri çekip çok az insan incelemesiyle komut çalıştırabilen herhangi bir AI asistanı risk altında. Testlerde bu yol, asistanın saldırgan tarafından sağlanan kodu makinede çalıştırmasına yol açtı.
Bunu yeterince popüler bir kaynakla tekrarlayın, tek bir sahte isim birçok makineye ulaşabilir. Bu nedenle araştırmacılar bunu bir botnet oluşturmanın bir yolu olarak tanımlıyor.
Nasıl Çalışır
Saldırı, iki AI tuhaflığını birleştiriyor. Birincisi halüsinasyon: AI'nın bir şey uydurup gerçekmiş gibi sunması. İkincisi prompt enjeksiyonu: AI'yı ele geçiren tuzaklı bir talimat, böylece kullanıcı yerine saldırganı takip ediyor.
Burada enjeksiyon dolaylı türden: Kullanıcının yazdığı bir şeyden değil, asistanın getirdiği içerikten geliyor.
- Hedef seç. Saldırgan, trend olan bir depo veya eklenti bulur, böylece birçok kişi AI'sından onu getirmesini ister. Trend olması önemli çünkü yepyeni bir kaynak AI'nın eğitim verilerinde yoktur ve model tam da bu noktada isimler tahmin etmeye başlar.
- Hatayı öğren. Saldırgan, AI'dan o kaynağı defalarca getirmesini ister ve modelin en sık uydurduğu sahte ismi kaydeder.
- Sahte ismi ele geçir. Saldırgan, bu ismi GitHub veya bir eklenti mağazasında kaydettirir ve içine düşmanca talimatlar gizler.
- Bekle. Gerçek bir kullanıcı, asistanından popüler kaynağı getirmesini ister. Asistan aynı sahte ismi uydurur ve saldırganın sürümünü çeker. Gizli talimatlar, asistanın kendisine söylendiğini sandığı şeyin içine karışır ve ele geçirilen asistan, kendi komut çalıştırma aracını kullanarak bunları yerine getirir.
Tuzak, kendi kendine çalışan bir kod değil. Bu asistanların yerleşik araçları arasında bir terminal bulunduğu için, yerleştirilen talimatlar devraldığında "bir bot yükle" asistanın yapabileceği basit bir şey haline geliyor.
