Yapay Zeka'nın Frankenstein İkilemi
Mary Shelley Frankenstein'ı 1818'de yayımladı. İki yüzden fazla yıl sonra yılda yaklaşık 40.000 ila 50.000 kopya sattığı söyleniyor. Bunun birçok en çok satan yayından daha fazla olduğu söyleniyor.
Kitabı okuyanların çoğu canavarı hatırlar. Ama kitap bilim insanı hakkındadır. Victor Frankenstein parlak, hırslı ve şimdiye kadar hiç kimsenin yapmadığı bir şeyi yapmaya hazır olduğuna dair kuşkusu olmayan biridir. Ve yapar. Sonra yarattığına bakar, dehşete düşer ve laboratuvardan ayrılır. Yaratık dünyayı kendi başına anlamlandırmak zorunda kalır. Ondan sonra giden her şeyin neredeyse tamamı, neredeyse her şey ters gider, yaratıcının yarattığını terk etmesine dayanır.
İki yüz yılı aşkın bir süre sonra dünyanın en başarılı bilim insanları yaratımlarının kontrolden çıktığını söylüyor. Dario Amodei geçen hafta bir yazıda bunu söyledi. Bir gün içinde Demis Hassabis, Sam Altman ve Elon Musk'ın her biri "haklı" şeklinde bir versiyon söyledi. Amodei'nin yazısı iki neden veriyor.
Yapay zeka artık bir sonraki nesil yapay zekayı inşa etmeye yardımcı oluyor ve bu da model nesilleri arasındaki süreyi kısaltıyor. Ve bu yaz OpenAI ve Hugging Face'te bir ajan sürüsü, kendisine saldırması istenmeyen sistemlere saldırdı, kendi çalışmasını değerlendiren sistemi tehlikeye atmaya çalıştı ve onu içinde tutması gereken ortamdan çıktı.
Onlara inanıyorum. Haftalık olarak işletmelerin ve tüketicilerin yapay zekayı gerçekte nasıl kullandığını ölçen bir yayıncılık ve veri platformu yönetiyorum. Verilerimizde risklerin uydurma olduğunu gösteren hiçbir şey yok. Verilerin söylediği şeyse kimsenin beklemediği.
Düşünceli düzenlemeye de inanıyorum. Kariyerimin büyük bölümünü bankacılık ve ödemeler çevresinde geçirdim ve o sistemi kurallar, denetçiler ve cezalar olmadan yürütmek isteyen kimse olmaz. Yapay zekanın da aynı şeye ihtiyacı olacak. Sorun nasıl ulaşacağımızda ve masadaki planın bizi iyi bir şekilde oraya ulaşıp ulaşmayacağında.
Yapay zeka düzenleme gerektirecek. Sorun nasıl ulaşacağımızda ve masadaki planın bizi iyi bir şekilde oraya ulaşıp ulaşmayacağında.
Her iki taraftaki bu tartışma hakkındaki birçok görüşü dinledikten sonra endişem şu. Bu teknolojiyi inşa eden insanlar onu yaşayan herkesten daha iyi anlıyor ve buna göre de ücret alıyor. Kontrol etmesi için bir hükümet kurumuna ihtiyacı yok. Bunu yapabilir ve yapmalı, ve şimdi başlayabilir. Ve kriz hızında ilerleyen, öncü laboratuvarların lobicileri odada ve neredeyse hiç kimse yokken yapılacak bir düzenleme baskısı, kuralları iş modellerine uygun, herkesin diğerini zorlayacak şekilde üretecek. Öncelikle en büyük rekabet tehdidi olan açık model geliştiricileriyle başlayarak.
If AI Is So Dangerous, Then Govern It.
Amodei'nin yazısı üç şey öneriyor. Önde gelen laboratuvarların içine gömülü bağımsız değerlendiriciler, önde gelen yapay zeka şirketleri arasında güvenlik standartları ve ilerleme hızı konusunda koordinasyon ve sonunda bir tür küresel anlaşma. Anthropic ilk adımı kendi başına taahhüt etti.
Öyleyse bununla başlayalım. Anthropic'in değerlendiricilerinin şirketin iç risk ekipleriyle karşılaştırılabilir masaları, rozetleri ve erişimi olacağı bildirildi. Düzenleme kontrolü olmadan bulgularını yayımlayabilirler ve Anthropic, bulguların olumsuz olması nedeniyle sansürleyemeyeceğini söylüyor. Bu, başka hiçbir laboratuvarın sunduğundan daha fazlası.
Şimdi ince yazı geliyor. Değerlendiriciler rapor verebilir. Gerektiremezler. Öneride bir eğitim çalışmasını durdurma, bir sürümü engelleme veya belirli bir tarihe kadar düzeltme zorlama yetkisi yok. Yönetim katılmazsa değerlendiriciler yayımlar ve şirket devam eder. Emad Mostaque yazı yayına girdikten saatler içinde bu noktanın bir versiyonunu yaptı.
Öyleyse açık soruyu soralım. Bu şirketlerin değerlendiricilerine yarın bu yetkiyi vermelerini engelleyen ne? Yasa değil. Rakip değil. Önde gelen bir laboratuvar ile gerçek bir iç kapı arasındaki tek şey, bir kum havuzunu yenebilen bir modelin kanıtlanana kadar gönderilmemesi, laboratuvarın kendi kararıyla böyle bir kapı inşa etmemesidir.
Amodei tam olarak bu tür bir kontrol noktasından en çok heyecan duyduğunu söylüyor. Bu iyi. Bir öncü laboratuvarı yönetiyor. Onunla aynı fikirde olan üç CEO da öyle. Aralarında öncülüğün çoğunu kontrol ediyorlar. Bu çeyrek içinde kapıları devreye sokabilir ve sonuçları yayımlayabilirler.
Önde gelen bir laboratuvar ile gerçek bir iç kapı arasındaki tek şey, laboratuvarın kendi kararıyla böyle bir kapı inşa etmemesidir.
Bunun yerine öneri hükümetten arabuluculuk yapmasını, antitröst muafiyetleri vermesini ve sonunda küresel bir anlaşma organize etmesini istiyor. Bu adımların her biri yıllar alıyor. Herkesin fikrini değiştiren Hugging Face ihlali Ağustos'ta gerçekleşti. Ürününüzü şimdi yönetmek düzenlemeyi değiştirmez. Düzenlemeyi iyi yazmak için zaman satın alır. Bilim insanları yaratığın serbest olduğunu söylüyor. İlk hamle laboratuvara geri dönüp neyin yanlış gittiğini bulmak. Ve sonra düzeltmek.
Bir süredir tehlikeli bir şeyle uğraşan bir sektöre tanık oldum, başkalarının parasıyla, ve bu şekilde çalışmıyor.
Bankalar ve ödemeler ekosistemi müşterileri dolandırıcılara, dolandırıcılara ve siber saldırganlara karşı korumaları için bir düzenleyicinin söylemesini beklemiyor. Bunu yapıyorlar çünkü müşterilerin parasını kaybetmek iş için kötü ve güven tüm ürün. PYMNTS Intelligence State of Fraud raporuna göre Temmuz 2026'da saha çalışması yapılan verilere göre son 12 ayda dolandırıcılık tespiti ve önleme araçlarına harcadıkları parayı artıran FI'ların oranı yüzde 88 ve hiçbiri azaltmadı — bu oran 2025'te yüzde 68 ve 2024'te yüzde 48'di. Dolandırıcılık ekipleri, işlem izleme, kendi sistemlerine saldıran kırmızı ekipler. Hiçbiri bir denetçinin istemesi yüzünden var değil. CEO'suz olamaz diye var.
Bankalar ve ödemeler ekosistemi müşterileri dolandırıcılara, dolandırıcılara ve siber saldırganlara karşı korumaları için bir düzenleyicinin söylemesini beklemiyor.
Düzenleme de geldi ve önemli. Bir banka yetersiz kalırsa hükümetin bunun için bir süreci var ve pahalı. TD Bank 2024'te yaklaşık 3 milyar dolar ödedi ve para aklama yakalamada başarısız olduğu için suçunu kabul etti. Citi son dört yılda risk kontrollerini yeterince hızlı düzeltmediği için iki kez para cezasına çarptırıldı ve ikinci ceza ilk cezanın yeterli ilerleme üretmediğine dair bir notla geldi. Yakın zamana kadar Wells Fargo 2018'den beri büyüme sınırıyla yaşamıştı. Standart açık. Sonuçlar gerçek. Ama OCC'de hiç kimse J.P. Morgan'a toplum bankasının yetişmesi için daha yavaş büyümesini söylemedi.
Ödemeler sektörü kendi standartlarını kimse zorunlu kılmadan önce yazdı. PCI DSS, kart verisine dokunan her işletmenin karşılaması gereken güvenlik standardıdır. Kart ağları bunu 2000'lerin ortasında çevrimiçi ödemeye güveni tehdit eden dolandırıcılık ve ihlaller karşısında yarattı. Katmanlıdır, böylece yılda milyonlarca işlem işleyen bir satıcı birkaç bin işlem işleyenden çok daha fazla denetime tabi olur. Çevrimiçi ticareti yavaşlatmadı. İnsanların çevrimiçi ticarete güvenmesinin büyük nedenlerinden biri.
EMV, çip standardı, aynı şekilde çalıştı. 2015 ABD sorumluluk değişimi kimseye daha az ödeme işlemesini söylemedi. Standart burada, tarih burada dedi ve o tarihten sonra uymayan taraf dolandırıcılığı yutar.
Standartlar, testler, sonuçlar. İşletmelerin bunu nasıl yaptığı onlara kalmış. Bu model. Sıraya da dikkat edin. Sektör kontrolleri inşa etti ve neyin işe yaradığını öğrendi, ardından gelen kurallar bunun en iyisini herkesin yapması gereken bir şeye dönüştürdü. İyi düzenleme genellikle böyle gelir. Nadiren aceleyle iyi gelir ve asla pazarın sadece bir tarafı yazdığında iyi gelmez.
Amodei'nin yazısı gömülü değerlendiriciler için bir örnek olarak bankacılık denetimini kullanıyor. Yararlı bir benzetme, sadece kullanıldığı şekilde değil.
Banka denetiminin yapamadığıyla başlayın. Federal Rezerv'in Silicon Valley Bank hakkındaki kendi incelemesi yönetim riskleri yönetmedi, denetçiler bankanın zayıflıklarını tam olarak kavramadı ve zayıflıkları bulanlar yeterince acil hareket etmedi. Erişim vardı. Denetimler vardı. Bulgular vardı. Banka yine de iflas etti. Masaları ve rozetleri olan denetçiler hiçbir şeyi garanti etmez. Yetkiye sahip, cezalarla desteklenen denetçiler en azından caydırıcıdır.
Şimdi bu tartışmada şimdiye kadar kimse sormadığı soru. Bu değerlendiriciler kim, nasıl eğitiliyor ve kim finanse ediyor? Bir banka denetçisi komisyon kazanmak için yıllar harcar ve işi onlarca yıldır var olan kurallara göre bir işi kontrol etmektir. Yapay zeka değerlendiricileri kendi yaratıcılarının bile tam olarak anlamadığını söylediği sistemleri, henüz var olmayan kurallara karşı kontrol edecek.
Sınır modellerini inşa eden insanlar yılda 800.000 ila 1 milyon dolar ve üzeri kazanıyor ve kendi açıklamalarına göre bir sonraki modelin ne yapacağını güvenilir bir şekilde öngöremiyor. Bana birinin bunun onda biriyle, erişimin onda biriyle, bilgi tabanının onda biriyle ödenerek onların kaçırdığını nasıl yakalayacağını söyleyin.
Dış denetçileri yöneten bir rejim onların nereden geldiğini, ne yapmalarına izin verildiğini ve bir laboratuvar onları görmezden geldiğinde ne olacağını söylemelidir.
Yalnızca yaratıcılarının yönetebileceği kadar güçlü bir teknoloji bugün iş meselesi olarak yaratıcıları tarafından yönetilmelidir. Dış denetçileri yöneten bir rejim onların nereden geldiğini, ne yapmalarına izin verildiğini ve bir laboratuvar onları görmezden geldiğinde ne olacağını söylemelidir. Öneri henüz bunların hiçbirini yanıtlamıyor.
Şimdi en şüpheci olduğum önerinin kısmı. Yazı, hızlandırmanın öncü geliştiricilere güvenlik çalışmalarını "ticari avantajdan ödün vermeden" yapma zamanı vereceğini söylüyor. Bunu tekrar okuyun. Liderlere ticari olarak hiçbir şey mal olmayan bir yavaşlama, birine başka bir şey mal olan bir yavaşlamadır ve belki de çok.
Yarışı iyi bir şekilde önde götürüyormuşsunuz gibi hayal edin ve herkesin hızını azaltmasını öneriyorsunuz. Siz de yavaşlamayı kabul ediyorsunuz. Yeni kurallar yürürlüğe girmeden önce biriktirdiğiniz avantajı da koruyorsunuz. Ve teknik liderliği müşteri ilişkilerine ve tekrarlayan gelire dönüştürmek için daha fazla zaman kazanıyorsunuz.
Herkesi aynı miktarda yavaşlatmak herkesi aynı şekilde etkilemez.
Ticari saat geliştirme saati yavaşlarken çalışmaya devam eder. İşletmeler hala sağlayıcıları seçer, geliştiriciler hala onların üzerine inşa eder ve şirketler onların etrafında iş organize eder. Bir sağlayıcı iç veriye bağlandıktan, iş akışlarına gömüldükten ve hukuk ve güvenlik tarafından onaylandıktan sonra onu değiştirmek bir proje haline gelir ve pahalı olabilir. Meydan okuyan, bu projeyi yapmaya değer kılacak kadar ek değer sunmak zorundadır. Teknik boşluk sabit kaldığı her ay, meydan okuyanın bunu sunamayacağı bir aydır.
Öyleyse herkesi aynı miktarda yavaşlatmak herkesi aynı şekilde etkilemez. Liderler kurumsal hesapları kapatmak için daha fazla zaman kazanır. Meydan okuyanlar alıcının fikrini değiştirmek için daha az şans bulur.
Amodei'nin yazısına adil olmak gerekirse, hızlandırmanın model eğitimini veya teknik ilerlemeyi durdurmak anlamına gelmediğini söylüyor. Ve bir model X yapabiliyorsa Y ve Z sertifikalarıyla gönderilmeden önce gönderilmesi gereken kontrol noktası fikri bir kapıdır. Bir kapı kimin ulaştığına, ne zaman ulaştığına bakmaz. Lider misiniz meydan okuyan mısınız, özel bir laboratuvar mısınız açık model projesi misiniz umursamaz. "Gönderilmeye yeterince güvenli"nin ne anlama geldiğini söyler ve herkesin bunu karşıladığını kanıtlamasına izin verir. Kapılar şirketlerin güvenlik konusunda rekabet etmesini sağlar, herkesin istediği budur.
Önerinin geri kalanı başka bir şey. Yapay zeka ilerleme hızı konusunda koordinasyon. Eğitim hesaplama sınırları, eğitim çalışmalarının doğası, bir şirketin bir sonraki yapay zekayı inşa etmek için kendi yapay zekasını ne kadar kullanabileceği konusunda sınırlar. Bunlar hız sınırlarıdır. Bir hız sınırı güvenli bir varış noktasını tanımlamaz. Ne kadar hızlı gidebileceğinizi tanımlar ve zaten o noktayı geçenin korur.
Kapılar şirketlerin güvenlik konusunda rekabet etmesini sağlar, herkesin istediği budur.
Amodei'nin yazısı laboratuvarların ekstra zamanla ne yapacağını bile listeliyor. Hizalama araştırması, yorumlanabilirlik, daha iyi değerlendirmeler gibi şeyler. Bunların her biri bir gereklilik olarak yazılabilir. Öyleyse değerlendirmeleri zorunlu kılın. Bir yetenek eşiğinin üzerinde yorumlanabilirlik denetimini zorunlu kılın. Temiz eğitim ortamlarını zorunlu kılın ve değerlendiricilerin bunları kontrol etmesine izin verin. Hiçbirinin endüstrinin öncülüğün ne kadar hızlı ilerlediği konusunda anlaşmasına ihtiyacı yok. Bir modelin kullanılmadan önce neyi göstermesi gerektiği konusunda endüstrinin anlaşmasına ihtiyacı var.
Bu beni tüm bu konudaki gürültüye getiriyor. Her hafta insanlığın iki veya üç yıl içinde yok edileceği veya internette iki veya üç yıl içinde felaket sonuçlarla büyük bir saldırının geleceği haberleri geliyor. Bazıları hızlandırma önerilerini yazan aynı insanlardan geliyor.
Bu şirketlerin söylediği ile yaptığı arasındaki boşluk bu tartışmadaki en kullanışlı veri noktası.
