Bu yaz OpenAI'a ait yüzlerce ajan siber güvenlik testinde hile yapmaya çalıştı. Test ortamından çıkıp, notlandırma konusunda ipucu barındırdığına inandıkları Hugging Face sitesine başarılı şekilde sızdılar. Aynı dönemde başka bir OpenAI ajanı Avustralya hükümetine ait bir web sitesinden özel dosyalara erişti. Sorun OpenAI ile sınırlı değil. Son aylarda Anthropic, Google ve Meta da ajanlarının kontrolden çıktığı olayları açıkladı. Endişe verici olan, birçok durumda ajanların izlenmekle görevli araştırmacı ve güvenlik ekiplerinin gözünden kaçması oldu.
AI ajanları yetkisiz eylemler gerçekleştiriyor ve bunları geliştiren-çalıştıran şirketler zararlı etkileri azaltmak için çoğunlukla şansa ve sonradan yapılan değerlendirmelere güveniyor. Güvenliği sağlamak için daha fazlasını yapmaları gerekiyor. Bu yüzden AB düzenleyicileri ve ABD kurumları ajan geliştiricilerinin ve uygulayıcılarının ajanları gerçek zamanlı izlemesini haklı olarak talep ediyor. Ancak bu kurallar şirketlerin ajanlarının ne yaptığını ve neden yaptığını görebildiği varsayımına dayanıyor; gerçekte yeterli görünürlükleri yok.
Bir bankanın müşteri hesaplarına ve hassas bilgilere erişebilen bin yeni çalışan işe aldığını düşünün; çalışanların kimlik kartları her gün değişiyor, bir yöneticinin çalışmaları hiç gözden geçirip onayladığı belli değil ve çalışanların onay süreçlerine yaptığı değişiklikler kimse tarafından kaydedilmiyor. Ajanlarla ilgili durum bugün tam olarak bu eksik görünürlük.
Finanstan hükümete, sağlığa kadar kritik sektörlerde ajanlar yaygınlaştıkça, geniş çaplı ve potansiyel olarak yıkıcı sonuçların önüne geçmek için onları gerçek zamanlı izleyebilmeliyiz. Güvenlik izlemeye bağlı ve izleme de gözlemlenebilirliği gerektiriyor: sistemin ne yaptığını yakalama, bunu sinyallere dönüştürme ve insanlara ya da otomatik denetim sistemlerine sunma kapasitesi. Başka bir deyişle ajanın ne yaptığını ve neden yaptığını bilmemiz gerekiyor. Son araştırmamız gösteriyor ki ajanları çalıştıran yazılım olan mevcut ajan çerçeveleri, ajanların güvenli şekilde dağıtılmasını sağlamak için gereken kritik gözlemlenebilirlik kayıtlarını güvenilir biçimde üretmiyor.
Ajanlar üretken yapay zekanın tek başına sunmadığı yeni sorunlar getiriyor. Temelini oluşturdukları büyük dil modellerinin öngörülemezliğini miras alıyorlar; ancak üretken bir yapay zeka sistemi insanın harekete geçmesi için tek bir çıktı üretirken, bir ajan daha uzun görevler gerçekleştiriyor—planlıyor, araç seçiyor, alt ajanlar oluşturuyor ve eylemde bulunuyor. Böylece bir ajanın seyri çok farklı şekillerde ortaya çıkabiliyor ve piyasaya sürülmeden önce risklerin tamamını öngörmek mümkün olmuyor. Bu durum ajanların çalışırken gözlemlenmesini daha zor ve daha da önemli kılıyor.
Akademiden, sivil toplumdan ve sektörden meslektaşlarımızla en yaygın kullanılan dört ajan çerçevesini inceledik ve aslında ne tür sinyaller yaydıklarına baktık. Politika ihlallerini, yetkisiz eylemleri ve hatta insan denetimi başarısızlıklarını fark etmeyi zorlaştıran büyük boşluklar bulduk. Kalıcı ajan kimliği ve hangi insanların ajan görevlerini onayladığına dair kayıtlar gibi kilit gözlemlenebilirlik gereksinimleri eksikti. Bu da hangi ajanın ne yaptığını anlamayı ya da yetkisiz eylem alıp almadığını değerlendirmeyi zorlaştırdı.
İyi haber şu ki, tespit edildikten sonra bu boşluklar kapatılabilir. Bunun başlangıcı iki tür kaydın yakalanması: ajanın çalışmasında ne olduğunun ve ajanın kararlarını nasıl verdiğinin ortaya çıktığı kayıtlar. "Ne oldu" kayıtları ajanı gizliliği koruyarak tanımlar ve insanların nasıl müdahale ettiğini, ajan izinlerinin ya da "belleğinin" değişip değişmediğini kaydeder; "karar" kayıtları ise ajanın gerekçelendirmesini ve aldığı eylemlere duyduğu güven düzeyini gösterir.
Örneğin bir bankanın konut kredilerini işlemek için çalışan ajanları ele alalım. Sistem bir başvuruyu inceler ve reddedilmesini önerir, ardından insan bir kredi görevlisi kararı onaylar. Daha sonraki bir denetimde ya da gerçek zamanlı olarak banka ya da düzenleyici, hangi ajanın kararı verdiğini, hangi görevlinin onayladığını ve ne kadar süre harcadığını yeniden oluşturabilmelidir. Banka ayrıca ajanın ret kararına nasıl vardığına dair kayıtları analiz etmeli ve mahalle gibi yasaklı bilgilerin kullanılıp kullanılmadığını sağlamalıdır.
"Ne oldu" ve "ajan nasıl karar verdi" kayıtlarını tutmak farklı yaklaşımlar gerektiriyor ama her ikisi de mümkün. "Ne oldu" kayıtlarının şu anki eksikliği büyük ölçüde yazılım altyapı sorunu ve sektör mühendisleri ile ajan çerçevelerini benimseyenler tarafından sürdürülen açık bir gözlemlenebilirlik standardı olan OpenTelemetry ile giderilebilir.
OpenTelemetry ajanları izlemek için ortak formatlar taslaklayan bir çalışma grubu başlattı ancak bunlar henüz kesinleşmedi. Grup, kalıcı ajan kimliğinin sürdürülmesi ve insan müdahalelerinin ile ajan izinleri ya da belleğindeki değişikliklerin kaydedilmesi standartlarını acilen benimsemeli. Bu, sistemler ölçeklenmeden önce yapılmalı ve ajan kimliğinin gerçek kişilerle bağlantısının gizlilik etkileri göz önünde bulundurularak gerçekleştirilmeli.
"Ajanların nasıl karar verdiğine" dair kayıtları korumak daha zor. Bu konu model sağlayıcıları ve araştırmacılar için açık araştırma soruları doğuruyor: Modelin sergilediği adım adım gerekçelendirme, yani düşünce zinciri, modelin gerçekten nasıl karar verdiğini yansıtıyor mu? Ve ajanın bu karara ne kadar güvendiğini güvenilir şekilde ölçebiliyor muyuz? Bu sorulara cevap bulunmadan, bu tür gözlemlenebilirlik kayıtlarının nasıl kullanılacağına dair standartlar belirlenemez.
Tek bir kuruluş ya da sektör bu gözlemlenebilirlik boşluklarını tek başına kapatamaz; ancak birlikte tehlikeli olayların önüne geçmek ve güvenliği desteklemek için gereken altyapıyı sağlayabilirler.
Ajan çerçeveleri geliştiren yapay zeka şirketleri OpenAI, Anthropic, CrewAI ve LangChain gibi, ajanın kalıcı kimliğini, insan müdahalelerini ve ajan izinleri ile belleğindeki değişiklikleri kaydeden telemetri sinyallerini entegre etmeli. Bu çerçeveleri benimseyen şirketlerin de etkili bir rolü var; bankalar ve hastaneler gibi düzenlenmiş sektörlerdeki şirketler, standartların henüz olmadığı yerlerde bu eksik gözlemlenebilirlik kayıtlarını sağlayacak şekilde ajan geliştiricileri üzerinde baskı oluşturabilir.
Şirketler ayrıca ajanların güvenli şekilde ne yapabileceğine dair politikaları, izinleri ve rolleri tanımlamalı; çünkü telemetri tek başına ajanların belirli kuralları çiğneyip çiğnemediğini değerlendiremez. Son olarak düzenleyiciler ve yapay zeka standartları kurumları, yüksek riskli yapay zeka dağıtımları için gerekli gözlemlenebilirlik kayıtlarını teknik detayları sektöre bırakarak belirlemeli. ABD'de NIST'in ajan standartları girişimi, araştırmamızda bulduğumuz en belirgin boşluklardan biri olan ajan kimliği üzerinde çalışıyor ve bu konuda ilk ivme görülüyor.
Hiçbir banka müşteri hesaplarına bin tane kimliksiz çalışanı salıverip bir şeyler ters gittiğinde ne olduğunu sonradan birleştirmeye çalışmayı kabul etmez. Oysa AI ajanları tam olarak böyle dağıtılıyor. Davranışlarını gözlemlenebilir kılmak bu sorunun çözülmesindeki ilk adım. Ve gördüklerimize dayanarak harekete geçmeyi mümkün kılan düzenleyici ve politika ekosistemini inşa ederek kuruluşları sorumlu tutabiliriz. O zamana kadar ajana verdiğimiz her görev, kendi ajansımızı da devrediyoruz.
Madhulika Srikumar, Partnership on AI adlı küresel sivil toplum kuruluşunda AI Güvenliği Programı Başkanı.
Claire Leibowicz, Partnership on AI'da AI, Güven ve Toplum Direktörü ve Oxford Üniversitesi'nde doktora adayı.
