Anthropic araştırmacısı Jacob Coxon, yapay zekanın bu on yılın sonuna kadar hepimizi öldürebileceği endişesiyle işinden ayrıldıktan bir gün sonra kurucular ve kayınbiraderler Rune Kvist ile Rajiv Dattani ile görüştüm. İkili, hepimizi kurtarabilecek bir çözüme sahip olduklarını düşünüyor ya da en azından kurumsal şirketlerin içinde yapay zeka ajanlarının kontrolden çıkmasını önlemeye yardımcı olabileceklerini söylüyor.
“Yapay zeka giderek daha hızlı bir şekilde akıllanıyor. Yapay zekayla ilgili şaşırtıcı olan şey, yapay zeka akıllandıkça benimsenmesinin ve kontrol edilmesinin daha kolay değil, daha zor hale gelmesi,” dedi Kvist. Kvist, Dattani’nin kız kardeşiyle evli olan erken dönem bir Anthropic çalışanı. Dattani ise yapay zeka güvenliği araştırma kuruluşu METR’ın eski COO’su.
İkili, yapay zeka güvenliğini şirketlere ve yapay zeka modelleri ile ajanları geliştiren firmalara taşımayı hedefleyen Artificial Intelligence Underwriting Company (AIUC) adlı bir girişim kurdu. Girişimin müşterileri arasında Cursor, Lovable, Harvey ve ElevenLabs bulunuyor.
Salı günü AIUC, Ribbit Capital liderliğinde First Harmonic’in katılımıyla 40 milyon dolarlık Seri A duyurdu. Şirket daha önce Nat Friedman’ın NFDG fonu aracılığıyla Emergence, Terrain ve Anthropic’in kurucu ortağı Ben Mann’ın da aralarında bulunduğu yatırımcılarla 15 milyon dolarlık tohum yatırım turu kapatmıştı. Toplam finansmanı 55 milyon dolara ulaştı.
Bu A listesi yatırımcı grubunun dikkatini çeken şey, AIUC’nin yeni bir yapay zeka risk setine tanıdık bir siber güvenlik modelini uygulamaya çalışması. Şirket, yapay zeka ajanları için üçüncü taraf denetim ve sertifikasyon katmanı geliştirdi.
“Bankalar, hastaneler, hükümetler ve ordular artık yapay zekayı bir model yeterince akıllı olmadığı için değil, reddediyor,” dedi Kvist. “Kendi müşterilerine bir sistemin ne yapacağını ve ne yapmayacağını dair taahhütler verdiler ve şu anda bunun garanti edilebilmesi mümkün değil.”
Geniş şekilde benimsenen siber güvenlik standardı SOC 2’den ilham alan AIUC, AIUC-1 adında bir standart ve ajanları bu standarta göre doğrulayan bir test hizmeti geliştirdi.
Standartı oluşturmak için AIUC, yaklaşık 250 güvenlik ve risk liderinden oluşan bir konsorsiyum topladı; bunlar ajanların alıcıları. Dattani TechCrunch’a şunları söyledi: “Bunlar ayda bir görüştüğümüz kişiler. Onlara sorduğumuz soru şu: Birinden ajan satın alırken neye bakarsınız? Hangi soruları sormak istersiniz ve hangi konuların ele alınmasını görmek istersiniz?”
Bu geri bildirim testleri şekillendiriyor. Girişim ardından bir ajanı, jailbreak, halüsinasyon ve veri sızıntısı içeren senaryolarda nasıl davrandığını görmek için yaklaşık 5.000 testten oluşan bir paketten geçiriyor. Sonuçlar, bir ajanın nerede güvenli ve güvenilir performans gösterdiğini ve nerede göstermediğini detaylandıran yaklaşık 100 sayfalık bir rapor ortaya çıkarıyor. İlginç bir şekilde AIUC, testleri çalıştırmak ve verileri analiz etmek için yapay zeka ajanlarını ve yapay zekayı kullanıyor. Kvist’in belirttiğine göre nihai denetimi ise insanlar doğruluyor.
Eğer bu size biraz tanıdık geliyorsa sebebi var. Dattani’nin eski işvereni METR’da 2024’ten 2025’e kadar COO olarak görev yaptı ve halen yönetim kurulu üyesi. METR, öncü laboratuvarlar için benzer testler yapıyor; çalışmaları şimdiye kadar büyük ölçüde performans üzerine odaklandı, yani ajanların görevleri güvenilir şekilde tamamlayıp tamamlayamadığı. METR, OpenAI’nin Hugging Face olayını araştırmak için kullandığı bağımsız araştırma kuruluşlarından biriydi.
Anthropic CEO’su Dario Amodei de yakın zamanda kötü davranış olaylarındaki hızlı artışa atıfla yapay zeka sektörünün öncü geliştirmeyi yavaşlatması çağrısında bulundu. Amodei, yazısında öncü laboratuvarların güvenliğini gözlemlemek ve doğrulamak için gömülü üçüncü taraf değerlendiriciler kullanmasının zorunlu hale getirilmesi fikrini ortaya attı ve bir olasılık olarak METR’ı işaret etti.
AIUC müşteri sitelerine gömülmeyi önermese de genel fikir benzer: Kurumlara yapay zeka ajanlarının ne kadar güvenli olduğuna dair bağımsız bir değerlendirme sunmak. Dattani dedi ki: “İşte burada başarılı oluyor ve burada güvenebilirsiniz. Ve işte burada endişeler var. Satın alma kararını vermeden önce bu referansların farkında olmalısınız.”
