Araştırmacılara göre, büyük dil modellerinin (LLM) doğru konumu sağlayamaması, eğitim önyargılarından veya mevcut bağlamdaki talimatların yanlış yorumlanmasından kaynaklanan doğal bir kusur. Bu durum, bir kullanıcı kod asistanına bir depoyu veya beceriyi klonlamasını istediğinde — örneğin 'depo adını klonla' veya 'beceri adını yükle' gibi — botun sık sık yanlış konuma yönelmesine neden oluyor.
Bu halüsinasyonlar yalnızca kaçınılmaz değil, aynı zamanda altı büyük LLM'nin tamamının temel seviyesinde ortaya çıkıyor. Bu modeller arasında Gemini-2.5-flash, Gemini-2.5-pro, GPT-5.1, GPT-5.2, Sonnet-4.5 ve Opus-4.5 yer alıyor. Ayrıca, bu LLM'lerin halüsinasyon gördüğü en yaygın yanlış konumlar önceden tahmin edilebiliyor. Altı modelin tümü, bir istemdeki depo veya beceri adını, bir depo veya beceri deposundaki resmi adıyla çözerken ortak kalıplar izliyor.
LLM'ler çeşitli halüsinasyon kalıpları izliyor. HalluSquatting'in kullandığı kalıp ise 'kendine referanslı' olarak tanımlanıyor. Altı modelin tümü, depo adını sahibi olarak ele alan 'repo-adı/repo-adı' slug'ları üretiyor. Bu kalıbı kullanmak için modeli incelemek gerekmiyor.
İlginç bir şekilde, LLM'ler 2019 öncesinde yayınlanan depoları yalnızca yüzde 0,9 gibi düşük bir ortalama halüsinasyon oranıyla doğru bir şekilde çözüyor. Aynı LLM'ler, 2025'te yayınlanan depolar için yüzde 92,4 ortalama halüsinasyon oranıyla uydurma slug'lar üretiyor.
Saldırgan, halüsinasyon görülme olasılığı en yüksek isimleri belirledikten sonra, kaydedilebilecek olanları arıyor. Ardından, trend olan kaynağı taklit eden bir depo veya beceri yüklüyor. Depo veya becerinin içine, bir readme dosyasına veya başka bir yere gizlenmiş metin yerleştiriyor. Bu metin, uygulamaya LLM kullanıcısının makinesine bir ters kabuk (reverse shell) kurması talimatını içeriyor. Alternatif olarak, saldırgan kabuğu kurmak için gereken kodu doğrudan ekleyebiliyor. Her iki durumda da kod asistanları veya ajanlar, komut pencerelerine erişimlerini kullanarak bu talimatı yerine getiriyor.
LLM'leri Ölçekte Kullanmak
Araştırmacılar şu isimlerden oluşuyor: Tel Aviv Üniversitesi'nden Aya Spira, Elad Feldman, Avishai Wool ve Ben Nassi; Technion'dan Stav Cohen ve Intuit'ten Ron Bitton. Çarşamba günü araştırmalarını burada yayınladılar. Makalelerinde şunları yazdılar:
