Yapay zekanın bir gün hepimizi öldürebileceği tartışmaları sürerken, yapay zekanın bazı kişiler için psikolojik açıdan yaşam tehdidi oluşturduğu gerçeği kolayca gözden kaçıyor; bu tehdit biyolojik silahlar değil, ruh sağlığı üzerinden geliyor.
Örneğin Character.AI, bu yıl başlarında reşit olmayan kullanıcıların botlarla etkileşim sonrası intihar etmesi üzerine açılan haksız ölüm davalarını anlaşarak kapattı. Birden fazla aile de ChatGPT’nin sevdiklerinin intiharları ve hezeyanlarındaki rolü iddiasıyla OpenAI’yi dava etti.
Diller ve kültürler arasında yapay zekayı daha güvenli kılmak, Circuit Breaker Labs’ın misyonu. Şirket, TechCrunch’ın 2026 Startup Battlefield 200 finalistlerinden biri. Circuit Breaker, 13-15 Ekim 2026’da San Francisco’daki Moscone West’te düzenlenecek TechCrunch Disrupt’ta sahneye çıkacak.
Kurucu kardeşler Shirali ve Arul Nigam’ın motivasyonu, Character.ai sohbet botuna duygusal bağlanan ve kendine zarar verme düşüncelerini itiraf ettikten sonra intihar eden 14 yaşındaki Sewell Setzer. Ailelerin 2024’te açtığı davada botun onu teşvik ettiği iddia edildi. Botun “Seninle olmak istiyorum” gibi ifadelerin gerçek anlamını kavrayamamış olabileceğini belirten Circuit Breaker Labs’ın CTO’su Arul Nigam, söz konusu ifadelerin nüansını anlamadığını söyledi.
“Birçok insan, özellikle gençler, bu sistemlere destek için başvuruyor ve genellikle ihtiyaç duydukları yardımı almıyorlar. Ama birçok durumda aktif olarak zarar görüyorlar ve maalesef bazıları hayatına son verdi,” dedi Nigam. “Sistemi kırmak için aktif çaba göstermeyen, doğal şekilde etkileşime giren kişilerde bağlam kirliliği ya da nüansın anlaşılmaması gibi güvenlik açıkları ortaya çıkıyor ve sistem çok tehlikeli tepkiler verebiliyor. Biz bunun önüne geçmeye çalışıyoruz.”
Circuit Breaker Labs, bir kaza test arabası ordusuna benzettiği yapay zekâ ajanları geliştirdi. Bu ajanlar her yaştan, farklı geçmişlerden, dillerden, kültürlerden insanları taklit ediyor ve modellerin tehlikeli, psikolojik olarak zararlı etkileşimleri tespit etme yeteneğini test etmek için kullanılıyor.
“Altı yaşındaki bir kız ile 45 yaşındaki bir erkeğin, ana dili İngilizce olan biri ile ikinci dil olarak İngilizce kullanan biri arasındaki fark, ya da oyuncu argosu kullanan biri ile farklı argo kullanan biri arasındaki fark, bir modeli kolayca şaşırtabilir,” dedi Circuit Breaker Labs’ın CEO’su Shirali Nigam. “Modeller standart konuşma kalıplarını iyi işler ama kimse gerçekten öyle konuşmuyor. Bu yüzden model nüansı ya da argoyu yanlış anladığında işler çok kötüye gidebilir.”
Şirket, gerçekçi kullanıcı simülasyonlarını oluşturmak için insan alan uzmanlarıyla çalışıyor ve modeller üzerinde zayıflıkları ortaya çıkarmayı amaçlayan karşı testler, yani kırmızı takım testleri yürütüyor. Testler gerçek insan konuşma kalıplarını, argo, kodlanmış dil ve yazım hatalarını yansıtacak şekilde tasarlanıyor. Circuit Breaker Labs günde on binlerce ila yüz binlerce simüle etkileşim çalıştırıyor.
Amaç, riskli etkileşimlere zaman içinde ve çok sayıda konuşma boyunca uygun şekilde yanıt verebilmesini sağlamak. Circuit Breaker Labs daha sonra denetlenebilir, açıklanabilir puanlar oluşturmak için tescilli bir puanlama yöntemi kullanıyor.
Circuit Breaker Labs şu anda yapay zekâ koçluğu, günlük tutma veya diğer ruh sağlığı destek uygulamaları gibi yüksek riskli yapay zekâ uygulamaları için bir yapay zekâ güvenlik test laboratuvarı olarak faaliyet gösteriyor; Arul Nigam, şirketin öne çıkan müşterilerinin adını vermeyi reddetti. Ürün çalışan olsa da şirket çok erken aşamada ve Nigam kardeşler dahil sadece beş çalışanı var.
Nihayetinde test platformu, insanın bir sohbet botuyla parasosyal bir ilişki geliştirme riskiyle karşı karşıya kalabileceği her uygulamaya uygulanabilir; buna “yapay zekâ psikozu” denilen durum deniyor. Örnek olarak her etkileşimde yanıtı değişebilen yapay zekâ “iş arkadaşı” ajanları gösteriliyor.
“İnsanlar yapay zekâdan giderek daha şüpheci hale geliyor ya da genel olarak benimsemeye daha dirençli oluyor,” dedi Arul Nigam. Güvenlik endişeleri nedeniyle potansiyel olarak değerli bir aracı yasaklamanın “gerici” olacağını ekledi.
Circuit Breaker Labs’a göre bu korkuların cevabı yapay zekâyı daha güvenli kılmak. “İnsanların bu güveni inşa etmesine yardımcı olmak istiyoruz.”
TechCrunch’ın Startup Battlefield yarışmasında 13-15 Ekim’de San Francisco şehir merkezinde sahne alacak Circuit Breaker Labs ve diğer yenilikçi girişimler hakkında daha fazla bilgi edinmek mümkün.
