Yapay zeka sohbet robotları iki tür hata yapar.
Halüsinasyon, uydurma bir alıntı, yanlış bir numara ya da olmayan bir isim gibi gerçek dışı bir çıktıdır.
Konfabülasyon ise bundan farklıdır. Sistem bir sorunun cevabını bilmediğinde, boşluğu kulağa uygun gelen bir şeyle doldurur ve bunu gerçek bir politika ya da müşteri hizmetleri yanıtıymış gibi güvenle ifade eder.
Bir şirketin kendi destek kanalı üzerinden iletilen uydurma bir politika, gerçeğinden farksız görünür. Bunu okuyan müşteri ve daha sonra inceleyen mahkeme için aynı otoriteyi taşır.
Mahkemeler, Yapay Zeka Chatbot Halüsinasyonlarından Şirketleri Sorumlu Tutuyor
Hukuki risk, Şubat 2024'te Britanya Kolombiyası Sivil Çözüm Mahkemesi'nin (British Columbia Civil Resolution Tribunal) Air Canada'yı chatbot'unun uydurduğu bir yaslı yolcu indirimi politikasından sorumlu tutmasıyla netleşti. Dava, Moffatt v. Air Canada, 2024 BCCRT 149 olarak kayıtlara geçti.
Jake Moffatt, büyükannesinin ölümünden sonra Air Canada'nın chatbot'una danıştı ve tam bilet alıp 90 gün içinde geriye dönük yaslı yolcu indirimi talep edebileceğini öğrendi. Oysa böyle bir geriye dönük politika mevcut değildi.
Air Canada, Moffatt'ın talebini reddederken chatbot'un kendi ifadelerinden sorumlu olduğunu savundu. Ancak mahkeme bu argümanı doğrudan reddetti. Mahkeme üyesi Christopher Rivers kararda şu ifadelere yer verdi: "Air Canada, chatbot'un kendi eylemlerinden sorumlu ayrı bir tüzel kişilik olduğunu ima ediyor. Bu dikkat çekici bir iddia."
Mahkeme, havayolu şirketini Moffatt'a 812,02 Kanada doları (yaklaşık 570 Amerikan doları) tazminat ve masraf ödemeye mahkum etti.
Bu karar, şirketlerin yapay zeka sistemlerinin kendi adlarına yaptığı açıklamalardan, bu açıklamalar kasıtlı olsun ya da modelin bir bilgi boşluğunu doldurması sonucu olsun, sorumlu olduğunu hükme bağladı.
Bir sonraki sınav Nisan 2025'te geldi.
Yapay zeka kodlama girişimi Cursor'un yapay zeka destek botu Sam, bir geliştiriciye şirketin her aboneliği tek bir cihazla sınırlayan yeni bir politikası olduğunu söyledi. Oysa böyle bir politika yoktu. Bot bunu uydurmuştu.
Cursor'un kurucu ortağı Michael Truell, Reddit'te yaptığı açıklamada bu durumu doğruladı: "Hey! Bizim böyle bir politikamız yok. Elbette Cursor'u birden fazla cihazda kullanmakta özgürsünüz. Ne yazık ki bu, bir ön cephe yapay zeka destek botunun verdiği yanlış bir yanıt."
Düzeltme kullanıcılara ulaşmadan önce uydurma politika Hacker News ve Reddit'te yayılmıştı.
Sigortacılar ve Düzenleyiciler Yapay Zeka Halüsinasyon Riskini Fiyatlamaya Başlıyor
Mayıs 2025'te Lloyd's of London, yapay zeka halüsinasyonundan kaynaklanan kayıpları teminat altına alan bir sigorta ürünü başlattı. Armilla adlı bir girişim aracılığıyla sunulan poliçeler, yetersiz performans gösteren bir yapay zeka ürünü nedeniyle zarar gören müşteri ya da üçüncü taraflarca dava edilen işletmelerin mahkeme masraflarını karşılıyor.
FINRA'nın 2026 Yıllık Düzenleyici Denetim Raporu, halüsinasyonları broker-satıcılar için spesifik bir uyum endişesi olarak işaretledi ve firmaları, kullanıcının amaçlanan kapsamının dışına çıkabilecek yapay zeka ajanları için prosedürler geliştirmeleri konusunda uyardı. Düzenleyici, halüsinasyonu, modelin doğru olmayan ya da yanıltıcı bilgi üretmesi ancak bunu gerçekmiş gibi sunması olarak tanımladı.
Scaled Cognition, Haziran ayında kurumsal düzeyde halüsinasyon kontrolleri geliştirmek için 100 milyon dolar yatırım aldı. Bu yatırım, bir zamanlar sadece bir ürün kalitesi sorunu olarak görülen konfabülasyonun maliyetinin artık finansal bir risk olarak fiyatlandırıldığını gösteriyor.
Cursor ve Air Canada davalarındaki ortak nokta, yapay zekanın soruyu anlayamaması değil. Sistemin cevabı bilmediğini fark edememesi ve bunu söyleyememesi. Uydurulan yanıt bir şirketin fiyatlandırması, politikası ya da iade koşullarıyla ilgili olduğunda, mahkemeler, düzenleyiciler ve sigortacılar artık aynı noktada birleşiyor: Şirket, modelinin söylediklerinin sahibidir.
