Bir ödeme yapay zeka ajanı, durdurması gereken bir işlem grubunu onaylıyor. Bir mutabakat modeli, istisnai bir durumu yanlış bir karşı tarafa kaydediyor. Bir müşteri kabul asistanı, bir insanın üst makama ileteceği bir dosyayı onaylayıp geçiyor. Haftalar sonra — bazen aylar, bazen de bir denetçi veya itiraz eden bir karşı taraf süreci hızlandırdığında — kıdemli bir yönetici, olaydan sonra her zaman önemli olan tek soruyu soruyor:
Sistem tam olarak ne yaptı ve bunu hangi temele dayanarak gerçekleştirdi?
Her kurumdaki ilk içgüdü, sistem loglarına (kayıtlarına) bakmaktır. Logların da bir cevabı vardır. Ancak düzenleyici bir denetimin veya hukuki bir tedbirin muhatabı olmuş herkes için rahatsız edici olan kısım, bu cevabın gerçekte ne kadar değer ifade ettiğidir.
Bu durum, log tutmanın kötü olduğu veya firmaların dikkatsiz davrandığı anlamına gelmez. Çok daha spesifik ve görmezden gelinmesi zor bir iddia var: Sıradan uygulama logları, üçüncü bir tarafın bağımsız olarak doğrulayabileceği bir çıktıyı otomatik olarak üretmez ve bu açığı kapatmak bir saklama politikası maddesi değil, bir mimari karardır. Düzenlemeye tabi bir kurumda bu ayrım, kapatabileceğiniz bir bulgu ile kapatamayacağınız bir bulgu arasındaki farktır.
Tanıklık, Çıkarı Olan Bir Tarafın İfadesidir
Finans sektöründeki profesyonellerin zaten üzerine kurduğu bu ayrımın eski bir adı var. Tanıklık, bir tarafın kendisi hakkında söyledikleridir; ağırlığı tamamen tanığın güvenilirliğine bağlıdır. Kanıt ise, tam da bu güvenilirliğin sorgulandığı durumlarda bile geçerliliğini koruyan şeydir. Günümüzde "yapay zeka yönetişimi" olarak satılan şeylerin çoğu, birincisini üretiyor ve onu ikinciymiş gibi tanıtıyor.
Loglar, amaçlandıkları işlerde — hata ayıklama, izleme ve kimsenin itiraz etmediği durumlarda davranışı anlama — mükemmeldir. Ancak çok spesifik bir görevde başarısız olurlar ve bu görev tam da en kötü zamanda ortaya çıkar: Size güvenmek için hiçbir nedeni olmayan biri soru sorduğunda ne olduğunu ortaya koymak. Bir logu kanıttan ayıran beş özellik vardır ve model riski incelemesinden geçmiş herkes bu özelliklere aşinadır.
Bağımsızlık
Kurumun kontrol ettiği bir veritabanına yazdığı kayıt, yalnızca iç tutarlılığı kanıtlar, bundan fazlasını değil. Operatörün söylemek istediğini söyler; bu dürüstlükten yoksun olduğu için değil, mimarideki hiçbir şeyin farklı bir cevabı engellememesi yüzündendir. Yalnızca doğrulanan sisteme bağlı olan bir doğrulama, sistemin kendi kendini onaylamasıdır ve bir sistem kendi tanığı olamaz. Bir denetçi bunu refleks olarak bilir; "gösterge panelimiz her şeyin yolunda olduğunu gösteriyor" ifadesinin soruyu cevaplamak yerine soruyu tekrar etmek anlamına gelmesinin nedeni budur.
İşleme Bağlılık
Çoğu erişim kontrolü oturumları ve kapsamları yetkilendirir; bu ajan burada, bu yetkilerle çalışabilir. Ancak bu, bu spesifik transferin, bu miktarın, bu hedefe, bu spesifik nedenlerle izin verildiği iddiasından tamamen farklı bir durumdur. Geçerli bir oturum içinde, onaylanmış kanallar aracılığıyla gerçekleşen suistimal, oturum seviyesindeki kayıtlar için görünmezdir. Ödemelerde tam olarak zararın oluştuğu yer burasıdır. Kaydın işleme bağlı olması gerekir; aksi takdirde bir anlaşmazlıkta önem taşıyan hiçbir şeye bağlanamaz.
Kaynak ve Köken Bilgisi
Kendisini üreten durumu göstermeyen bir karar yeniden okunabilir ancak yeniden incelenemez: Hangi politika sürümü yürürlükteydi, hangi model ve konfigürasyon gerçekten çalıştı (konfigüre edilen değil, çalışan) ve girdiler sonradan değişen bir sistem tarafından yeniden oluşturulduğu haliyle değil, alındıkları andaki haliyle neydi? Bir olaydaki asıl soru nadiren "ajan bunu yaptı mı" şeklindedir; asıl soru, bunu o an doğru kılan şeyin ne olduğudur ve bu aynı zamanda sorunun tekrar edip etmeyeceğini söyleyen tek sorudur.
Yeniden Hesaplanabilirlik
Üçüncü bir taraf, kararı yalnızca kayıttan yola çıkarak yeniden türetebilir mi? Sizin API'nizi çağırmadan, veritabanınızı kullanmadan, iyi niyetinize güvenmeden? Eğer cevap hayır ise, kanıt kayıt değil, sizin hizmetinizdir. Ve bir hizmet eninde sonunda kullanımdan kaldırılır, taşınır veya soruyu soran taraf tarafından basitçe güvenilir bulunmaz. Yalnızca onu üreten kurum tarafından kontrol edilebilen bir kayıt, dışarıdan bir inceleyici için sadece fazladan adım içeren bir iddiadan ibarettir.
Anlamlı Eksiklik
Eksik bir kayıt, işlemin hiç gerçekleşmediği anlamına da gelebilir, loglamanın başarısız olduğu anlamına da veya aşağı akışta filtrelendiği anlamına da. O halde kayıtların varlığı da çok az şey kanıtlar. Kanıt, eksikliğin kesin bir şey ifade etmesini gerektirir. Çoğu loglama altyapısı, kendi boşlukları hakkında bu garantiyi veremez.
Bu Sorun Neden Şimdi ve Özellikle Finans Hizmetlerinde Karşımıza Çıkıyor?
İki eğri kesişiyor.
Ajan tabanlı sistemler tavsiye verici olmaktan çıkıp sonuç doğuran sistemlere dönüşüyor. Bir model sadece tavsiyede bulunduğunda, kötü bir çıktı utanç vericidir. Ancak bir ajan harekete geçtiğinde — bir ödemeyi serbest bıraktığında, bir kaydı değiştirdiğinde, raporu dosyaladığında veya bir limiti ayarladığında — kötü bir çıktı, karşı tarafla yaşanan bir olaya dönüşür ve kurumun dışındaki biri, ne olduğuna ve neden olduğuna doğrudan ilgi duymaya başlar.
Sorular da varsayılan olarak dışa dönük hale geliyor. Denetçiler, iç denetim, sigortacılar ve karşı taraflar şimdiden otomatik sistemlerin ne yaptığını ve hangi temele dayanarak yaptığını soruyor. Düzenleyici yön — model riski yönetişimi beklentileri, yüksek riskli yapay zeka için kayıt tutma ve izlenebilirlik yükümlülükleri, gösterilebilir denetime yönelik genel geçiş — hepsi aynı yönü işaret ediyor: Operatörden başka bir tarafın test edebileceği kayıtlara. Gözlemlenebilirlik araçları ne kadar iyi olursa olsun, bunların hiçbirini karşılayamaz; çünkü gözlemlenebilirlik, operatörün kendi gözleri için tasarlanmıştır.
Yeniden İnşa Etmek Göründüğünden Daha Zor
Cevap verme iradesi mevcut olsa bile, altyapı genellikle buna izin vermez. Modern bir yapay zeka hattı, dönüşümler zinciridir; bir belge ayrıştırılır, bölünür, temizlenir, gömülür, getirilir, yeniden sıralanır ve özetlenir. Bu aşamaların neredeyse hiçbirinde, dokundukları şeyin anlamı üzerinde ne yaptıkları kaydedilmez. Bir parçalayıcı, kaynağın hangi baytlarının hangi parçayı ürettiğini söylemeden parçalar döndürür. Yeniden sıralayıcı, hangi temele dayanarak sıraladığını açıklamadan yeniden sıralama yapar. Bir çağrının gerçekleştiğini kaydetmek için kurallarımız var; ancak çağrının içerik üzerinde ne yaptığını kaydetmek için neredeyse hiçbir kuralımız yok. Bu tür aşamalardan inşa edilmiş bir hattı denetlemek, her aracı kurumun yalnızca bir şeyler sevk ettiğini onaylayacağı bir tedarik zincirini denetlemeye benzer.
İkinci sorun ise araçların değişken olmasıdır. Soru sorulduğunda, model sürümü kullanımdan kaldırılmıştır, dizin yeniden oluşturulmuştur, gömme kütüphanesi birkaç sürüm geçirmiştir ve puanlama yöntemi daha iyisiyle değiştirilmiştir. Hattı yeniden çalıştırmak, cevabı yeniden türetmek değildir; yeni bir araçla yapılan yeni bir ölçümdür ve gerçekte olanlarla hiçbir ilgisi olmayan nedenlerle orijinal sonuçla çelişebilir. Bunu büyük ölçekte yapan herkes rahatsız edici bir şey öğrenir: Uygulama ayrıntısı gibi görünen ölçüm seçimleri, yalnızca bir etkinin boyutunu değil, yönünü de değiştirebilir. Yalnızca sistemi yeniden çalıştırarak doğrulanabilen bir kayıt, kayıt değildir; değişen hiçbir şey olmadığına dair bir umuttur.
Asıl Zor Olan Kısım
Kanıtı sonradan loglama sistemine ekleyemezsiniz. Bunlar farklı mimarilerdir ve fark, kayıt yazıldığı anda sabitlenir, sonradan değil. Kanıt, kararın verildiği sınırda yakalanmalı, tam işleme bağlanmalı, onu etkileyen her şeyin kimliğini taşımalı ve o anda mühürlenmelidir; çünkü bu gerçeklerin her biri zaten değişmeye başlamıştır. Bunların her biri, olaydan önce verilen bir tasarım kararıdır veya hiç verilmemiş bir karardır.
Makul bir itiraz var: Bu, kurumsallaşmış bir güvensizlik gibi görünüyor. Öyle değil. Güven, ölçeklenebilirlik, personel devir hızı ve bunu genişletmek için hiçbir nedeni olmayan dış bir tarafla hayatta kalması gerekene kadar gayet iyi çalışır. Üç yıl içinde, sistemin ne yaptığını kanıtlayabilecek kişi çoktan ayrılmış olacak ve geriye kalan şey kayıt — veya kayıt gibi görünen şey — olacaktır. O zaman soruyu cevaplayabilecek kurumlar, bunu henüz bir loglama sorunu gibi görünürken, şimdiden bir mimari sorunu olarak ele alanlardır.
Bu mimarinin nasıl şekilleneceği üzerine açık bir protokol ve çalışan kodlar üzerinden çalışmalar yürütülüyor. Geliştirilen bu yapının en belirgin özelliği, ortaya çıkan kayıtların ne sistemi işleten kişiye ne de onları üreten yazılıma güvenmek zorunda olmayan üçüncü taraflarca bağımsız olarak denetlenebilmesi.
