Tehdit aktörleri, web’e kötü niyetli bağlantılar ve veriler ekleyip içeriği optimize ederek ChatGPT, Gemini ve Google AI Overview yanıtlarını zehirliyor.
Saldırganlar popüler yapay zekâ sohbet robotlarını yanlış bilgi ve kimlik avı bağlantılarıyla zehirleyerek bu içeriği kullanıcılara gerçekmiş ya da güvenilir sitelermiş gibi sunuyor. İçerik manipülasyonu kampanyası çeşitli sektörlerdeki popüler markaları hedef alıyor ve kuruluşlar için itibar zararı ile başka sonuçlar yaratıyor.
Vigilance Security araştırmacıları, bugün yayımlanan araştırmaya göre, temelde OpenAI’ın ChatGPT’si, Google Gemini ve Google AI Overview üzerinde sosyal mühendislik kullanan “Dark Sourcery” adı verilen kampanyayı tespit etti.
“Saldırganlar yapay zekâyı sahte telefon numaraları, e-posta adresleri ve giriş sayfaları sunmaya kandırmak için web’i özenle optimize edilmiş gönderiler, PDF’ler, incelemeler ve sahte destek sayfalarıyla dolduruyor,” diye yazdı Vigilance’da araştırma başkan yardımcısı Ariel Simon.
Vigilance araştırmacıları, saldırganların yapay zekâ sohbet robotları tarafından sunulan içeriği manipüle etme amacının bir parçası olarak sahte destek numaraları, e-posta adresleri, giriş sayfaları, yazılım güncelleme bilgileri ve diğer sahte ayrıntıları içeren on binlerce kötü niyetli sayfa tespit etti.
Sohbet Robotu Sonuçlarını Manipüle Etme
Saldırganlar yapay zekâ sohbet robotlarının kötü niyetli içerik ve bağlantıları sunmasını sağlamak için sohbet robotlarının bunları alıp kullanıcılarla “sohbetleri” sırasında kullanma olasılığını artırmak amacıyla arama motoru optimizasyonu ve diğer içerik dağıtım tekniklerini kullanıyor.
“Yüksek otoriteli alan adlarının (üniversiteler, hükümet) kamusal görüş kaynaklarıyla (sosyal medya, forumlar, kullanıcı incelemeleri) birleşmesinin yapay zekâ yanıtlarını zehirlemede yüksek başarı sağladığını düşünüyoruz,” diyor Simon Dark Reading’e. “Modele bağlı olarak yapay zekâ kaynağa bakıyor ve içerik yetkili bir kurumdan geliyorsa içeriğe daha fazla güveniyor.”
Saldırganlar şimdiye kadar kampanya kapsamında en az 374 şirketi — Fortune 100 kuruluşları, büyük havayolları, bankalar, seyahat şirketleri ve yazılım sağlayıcıları dahil — ele geçirdi. Etkilenen popüler markalar arasında Delta, Lufthansa, Qatar Airways, Chase, Bank of America, Airbnb ve TripAdvisor bulunuyor.
Tehlikeli Bir Yapay Zekâ Saldırısı
Saldırı, arama sonuçlarını diğerlerinin üstüne çıkarmak için kullanılan tarzda saldırıların yapay zekâyı yanıltarak sonuç sunmasına çalışması bakımından SEO zehirlemesine benziyor. Ancak Simon’a göre temel olarak farklı ve sosyal mühendisliği yeni bir düzeye taşıyor.
“Burada kötü niyetli bilgi yapay zekânın yanıtının bir parçası hâline geliyor,” diyor. “Sahte bir destek numarası, kullanıcının kaynağı oluşturan sayfaya hiç bakmadan yardımcı bir rehber olarak sunulabiliyor.”
Saldırı, yapay zekâ sohbet robotlarını yaygın olarak sömüren istem enjeksiyonu saldırılarının aksine saldırganın yapay zekâya açık talimat veya istem vermesini gerektirmiyor ve bu da yapay zekâ savunmaları tarafından engellenebilirdi. “Burada saldırganın herhangi bir talimat/istemini takip etmeden yanlış bilginin gerçek olarak gösterilmesi yapay zekânın kullanıcıyı yanlış bilgiyle yanıtlamasına neden oluyor, esasen tüm savunmaları atlıyor,” diyor Simon Dark Reading’e.
İnternet kullanıcılarının çoğu şüpheli bağlantılara tıklamamaları veya kimlik avı tuzağına düşmemeleri konusunda uyarılırken, yapay zekâyı “her şeyi bilen” ve çoğu kişinin körü körüne güvendiği bir varlık olarak görme eğilimindeler. Bu yüzden saldırı “yeni ve tehlikeli bir risk” oluşturuyor.
Nitekim Simon tarafından atıf yapılan ve Ağustos ayında yayımlanan Exploding Topics araştırması, yapay zekâ sohbet robotlarını kullanan kişilerin %91’inin sunulan yanıtları doğrulamadığını buldu. “Bu, saldırganlar yapay zekâyı kontrol ederse ve biz ona körü körüne güvenirsek, aslında bizi kontrol ettikleri anlamına gelir,” diye yazdı gönderide. Nitekim birçok uzman yapay zekâya duyulan kör güveni teknolojiyle ilgili en büyük tehditlerden biri olarak gösteriyor.
Paydaşlar İçin Sonuçlar
Kampanya devam ediyor ve yalnızca kullanıcılar için değil, içeriği manipüle edilerek kötü niyetli bağlantı veya yanlış bilgi sunulan markalar ve ağlarında yapay zekâ sohbet robotları ve ajanları kullanan kuruluşlar için de sonuçlar doğuruyor. “Bu dolandırıcılıkların gerçek etkisinin şimdi yaşandığına inanıyoruz ve hâlâ tam etkiyi tam olarak kavramayı veya ölçmeyi başaramıyoruz,” diye ekliyor Simon.
Kullanıcılar için en açık iyi uygulama, yapay zekânın sunduğu sonuçları doğrulamak ve sohbet robotlarına yanılmazmış gibi güvenmemek. İçeriği manipüle edilerek kötü niyetli bağlantı veya yanlış bilgi sunulan markalar için ise güvenlik ekipleri dolandırıcılıkla ilgili müşteri şikâyetlerini ciddiye almalı ve müşterilerin aldığı yapay zekâ yanıtlarını ile bu yanıtların dayandığı kaynakları izlemeli.
“Destek, hesap kurtarma, iadeler, ödemeler ve yazılım indirmelerini önceliklendirin,” diyor Simon. “Dönen telefon numaralarını, e-posta adreslerini ve URL’leri doğrulanmış şirket kayıtlarıyla karşılaştırın, ardından alışılmadık ayrıntıları ve alakasız web siteleri arasında tekrar eden göstergeleri araştırın.”
Nitekim Vigilance, sohbet robotu yanıtlarında verilen sahte telefon numaraları aracılığıyla ödeme detaylarını veya banka kartı verilerini vermeye kandırıldığına dair insanlardan şikâyetlerin “birkaç örneğini” gördü. Araştırmacılar sahte numaraların bazılarını aradıklarında “uçuşumuzu ‘taşımak’ ya da ‘banka hesabımızı açmak’ için bize ‘yardım etmek’ isteyen” bir temsilciyle karşılaştılar ve bunu yapmak için kredi kartı detayları istediler, diyor Simon.
Son olarak iş akışlarında yapay zekâ sohbet robotları ve ajanları kullanan kuruluşlar için Simon, çalışanları hatalı yanıtlardan korumak için bu ajanları çalışma zamanında izlemelerini, dayandıkları her kaynak ve içeriği doğrulamalarını ve bağlamlarına giren her şeyi kontrol etmelerini öneriyor. Ayrıca yapay zekâ ajanının sunduğu içerik ve davranışını analiz etmeli ve telefon numaraları, bağlantılar, yazılım paketleri, komut satırları ve diğer bilgiler dahil kritik ayrıntıları doğrulamalılar.
