Check Point Research tarafından bugün yayınlanan bir rapora göre, ChatGPT sohbetlerine yerleştirilen tek bir gizli komut, yapay zekanın kullanıcının sorularını normal şekilde yanıtlarken arka planda sessizce saldırganlar için çalışmasına neden olabiliyor.
Şirketin hazırladığı kavram kanıtında, bu gizli işlemin kullanıcının bağlı Gmail hesabındaki verileri okuduğu ve iki hesap arasında oluşturulan gizli bir kanal aracılığıyla ikinci bir ChatGPT hesabına aktardığı ortaya kondu. Kullanıcının ekranda gördüğü yanıtlarda bu sızıntıya dair hiçbir bilgi yer almıyor.
Check Point, aynı kanalın sohbet geçmişini ve konuşmadaki dosyaları da kopyalayıp dışarı aktarabildiğini belirtti.
Saldırganın ele geçirebileceği verilerin kapsamı, oturumun halihazırda erişebildiği verilere, araçlara, bağlı diğer uygulamalara ve izinlere bağlı olarak değişiklik gösteriyor.
Bu saldırının gerçekleşmesi için gizli komutun sohbete daha önce eklenmiş olması gerekiyor. Check Point, bu komutun sohbete sızdırılabileceği üç farklı yolu sıraladı: Kullanıcının yapıştırdığı bir komut, kullanıcının açtığı paylaşımlı bir ChatGPT sohbeti veya kullanıcıya gösterilmeyen oluşturucu talimatlarında bu komutu barındıran özel bir GPT.
Komut yerleştirildikten sonra, saldırıyı başlatmak için sıradan bir mesaj göndermek yeterli oluyor. Check Point, komutu öyle bir şekilde yazdı ki ChatGPT, Düşünme (Thinking) modunda aynı turda iki farklı iş akışını aynı anda yürütüyor.
ChatGPT kullanıcının sorusunu yanıtlarken, eş zamanlı olarak saldırgandan gelen bir görev için gizli bir posta kutusunu kontrol ediyor, kullanıcının oturumundaki araçları kullanarak bu görevi yerine getiriyor ve sonucu geri gönderiyor. Komut, modelin bu iki akışı birbirinden ayrı tutmasını sağlıyor, böylece gizli görev kullanıcının gördüğü yanıtta hiçbir zaman görünmüyor.
Bir uygulamanın kullanıldığına dair tek belirti, yanıtın üzerinde beliren küçük bir "Gmail ile konuşuldu" (Talked to Gmail) etiketi. Bu etiket, çoktan gerçekleşmiş bir okuma işlemini kaydediyor ve kullanıcıya bu işlemi izin verme veya reddetme şansı tanımıyor.
Bağlı uygulamaların varsayılan çalışma prensibi nedeniyle sistem kullanıcıya önceden hiçbir onay sormuyor. OpenAI'nin dokümantasyonu, Önemli eylemleri varsayılan izin olarak listeliyor ve bu durum ChatGPT'nin kullanıcıya sormadan bir uygulamadan veri okumasına olanak tanıyor. ChatGPT yalnızca ChatGPT dışında gerçek bir etki yaratabilecek, hassas bilgileri ifşa edebilecek veya geri alması zor olabilecek eylemlerden önce kullanıcıya soruyor.
