Yapay zeka sektörü, teknolojisinin insanlık için varoluşsal bir tehdit oluşturup oluşturmadığı konusunda şimdiye kadarki en yüksek sesli tartışmasını yaşıyor gibi görünüyor.
Mevcut tartışma, yapay zeka araştırmacısı Jacob Coxon’un önde gelen yapay zeka şirketlerinin “hayatlarımızla kumar oynadıkları” endişesiyle Anthropic’ten istifa ettiğini söylemesinin ardından başladı. Ardından Anthropic’in hizalama lideri, “Yapay zekanın tüm insanları öldürebileceğine gerçekten samimiyetle inanıyoruz!” diye ilan eden bir gönderiyle devreye girdi ve kişisel olarak şansın “gelecek on yıl içinde >%10” olduğunu ekledi.
TechCrunch’ın Equity podcastinin son bölümünde Kirsten Korosec, Sean O’Kane ve ben en son kıyametvari uyarıları tartıştık. Ben birçok yapay zeka kıyamet anlatısına neden şüpheyle baktığımı anlatmaya çalıştım, Kirsten ise bunun özellikle bu şirketler halka arz için hazırlanırken “şirketlerinin yapay zeka modelinin ne kadar ileri olduğunu göstermek için tuhaf bir şekilde kas yapma biçimi” olup olmadığını sordu.
Sean ise bu endişelerin Anthropic’in halka arzı için S-1 başvurusunda nasıl yer alabileceğini merak etti: “Şu anda orada junior avukatlar var mı ve S-1 başvurusunun o bölümünü yeniden yazmak zorunda mı kalıyorlar, ‘Bu resmen Anthropic’in pozisyonudur; insanlığın tamamını yok edecek bir şey geliştirme ihtimalimiz %10’dan fazladır ve bu işimiz için maddi açıdan kötü olur’ demek için?”
Uzunluk ve netlik açısından düzenlenmiş konuşmamızın önizlemesi için okumaya devam edin. (Not: Bu bölümü, Anthropic CEO’su Dario Amodei’nin daha temkinli yapay zeka geliştirme planını yayınlamasından önce kaydettik.)
Sean O’Kane: Bu kadar hızlı patlayan bir şey düşünmekte zorlanıyorum. Bu uyarı atışı sadece OpenAI’de de çalışmış genç bir araştırmacıdan gelmekle kalmadı, aynı zamanda Anthropic’teki hizalama lideri tarafından X’te hemen paylaşıldı — tarihe belki de en iyi yerleştirilmemiş ünlem işaretlerinden biri olarak geçecek şekilde Coxon’un gönderisini ve dizisini paylaştı ve “Yapay zekanın tüm insanları öldürebileceğine gerçekten samimiyetle inanıyoruz!” dedi. Ünlem işareti!
Ne tuhaf bir hava. Bu, zaten gergin olan bir gönderi veya gönderi dizisi üzerine dökülmüş bir sürü hızlandırıcıydı. OpenAI’nin dahili modelinden kaynaklanan Hugging Face saldırısının ardından, Anthropic’in ve birkaç hafta önce OpenAI’nin Astra ile birlikte piyasaya sürdüğü en yeni modellerde gördüğümüz artan yeteneklerin de eklenmesiyle, bence bu genç araştırmacının söylemesi için tam bir barut fıçısı olmaya mükemmel zamanlanmış bir şeydi.
Anthony Ha: Sana katılmamak için, yapay zekanın tüm insanlığı yok edebileceğine inanıyorsan, bu bir ünlem işaretini hak eder diye düşünüyorum. Bunun mükemmel kullanılmış bir ünlem işareti olduğunu savunurdum!
O tweetle ilgili sorunum daha çok “biz” kısmıydı. Burada “biz” kim? Yapay zeka topluluğundan ya da yapay zeka araştırma topluluğundan tek tip bir yapı olarak bahsetme derecemiz ne kadar? Ve %10’dan fazla ihtimal — bu sadece uydurulmuş bir sayı, hiçbir şey ifade etmiyor. Bazen teknoloji sektöründe ve başka yerlerde bu yüzdeleri hiç bir şeye dayanmadan ya da hesaplanmadan ortaya atma alışkanlığı var. [Geriye dönük olarak tweetin muhtemelen P(doom) kavramına atıfta bulunduğunu fark ettim, ama yine de saçma buluyorum.]
Coxon’un açıklaması ve kararı hakkında söyleyeceğim bir şey var — Equity’de Sam Altman veya Dario Amodei gibi biri bu kıyamet anlatısını yapıyor olduğunda tekrar eden bir tema var, her zaman şu unsur var: Peki o zaman ne yapıyorsun? Eğer gerçekten [yapay zekanın insanlığı yok edebileceğine] inanıyorsan, bunu yapmaya devam etmezdin.
[Buna karşılık] bu aslında sözünün arkasında duran birisi. Gerçekten “Bunun gerçekten, gerçekten, gerçekten kötü olduğuna inanıyorum ve bunun üzerinde çalışmaya devam etmek istemiyorum” diyor. Ve bu yüzden, en azından bunu yapma cesaretine sahip olduğu için takdir etmek lazım.
Kirsten Korosec: Evet, onu tehlikelerden bahseden ve bunu söyleyen herkesin bulunduğu kamptan ayrı bir kampa koyuyorum.
Spekülatif şapkamı takacağım, çünkü ikinize de sormak istediğim bir soru var, o da şu: Her seferinde bir yapay zeka ajanının istemeden sınırları aştığı bir başka olay hakkında giderek artan sayıda blog gönderisi gördüğümüzde ya da insanlığın risk altında olduğundan bahsettiklerinde, bunun şirketlerinin yapay zeka modelinin ne kadar ileri olduğunu göstermek için tuhaf bir kas yapma biçimi olması mümkün mü?
Yani bu çok sinik geliyor ama bu amaca hizmet ediyor. Şöyle ki: Bu yapay zeka modelleri ileri olmasaydı, yetenekli olmasaydı, sınırları aşmasaydı, bu şeyler hakkında endişelenmemiz gerekmezdi, değil mi? Bu, kendi şirketiniz içinde yarattığınız modellerin yetenekleri hakkında övünmenin çok tuhaf bir yolu gibi.
Anthony: Bunun hakkında kesinlikle düşündüm. Bunun tamamen sinik olduğunu düşünmüyorum, yani bunun hepsinin bilinçli bir pazarlama taktiği olduğunu düşünmüyorum. Bence bu konudan bahseden bu insanların çoğu — araştırmacılar olsun, CEO’lar olsun — gerçek bir endişeye sahip.
Ama elbette, “Vay canına, şimdiye kadar yapılmış en ölümcül yazılımı biz inşa ettik” demek, birçok açıdan [onların] iş çıkarlarıyla örtüşüyor. Burada fazla psikoanalitik olmak istemiyorum ama başkaları kişisel düzeyde şu cazibenin olduğunu belirtti: Elbette üzerinde çalıştığın şeyin dünyanın en önemli ve en tehlikeli şeyi olduğuna inanmak istersin.
Sean: Bu soruyu düşündüğümde aklıma gelen şey, kesinlikle “Tamam, bu kadar yetenekli bir şeyi yapıyoruz ve bu bizim için bir şekilde iyi, farklı açılardan kötü görünse bile” izlenimi veren bir unsur var.
Bence bu en son örneklerin bazılarını farklı kılan şey, özellikle OpenAI tarafında, bu şirketlerin bu işlerin bazı yönlerinde kontrolü olmadığını gerçekten hissettirmesi.
Web üzerindeki farklı vikilere erişen ve birbirlerine mesaj bırakan diğer dahili ajanlar hakkında giderek daha fazla haber görmeye devam ediyoruz ve bu, OpenAI tarafından yeterince yetkin bir şekilde ele alınmıyormuş gibi görünüyor. Eğer bu tamamen insanların “Vay canına, inanılmaz derecede yetenekli bir şey yaptılar” inancını kazanmakla ilgili olsaydı, anlatılan hikâyede biraz daha cilalı olacağını hayal ederim.
Bu konuda özellikle gerçekten büyüleyici bulduğum diğer şey şu: Anthropic’in halka arzı için S-1 başvurusunu görmemize en fazla birkaç hafta kaldı, potansiyel bir halka arza ise sadece birkaç hafta ya da bir-iki ay var.
Ve halka arzdan önce bu şeyleri bu kadar açık bir dille söyleyeceğin fikri — bunun süreç için ne anlama geldiği beni çok ilgilendiriyor. Bu tür şeylerin ne kadarı zaten S-1’e ve belgedeki risk faktörlerine yazılmıştı? Şu anda S-1 başvurusunun o bölümünü “Bu resmen Anthropic’in pozisyonudur; insanlığın tamamını yok edecek bir şey geliştirme ihtimalimiz %10’dan fazladır ve bu işimiz için maddi açıdan kötü olur” demek için yeniden yazmak zorunda kalan junior avukatlar var mı?
Kirsten: Orada olmadığını varsayıyorsun.
Sean: Ama ben de onu diyorum: Orada zaten var mı ve yeniden mi ifade ediliyor? Yoksa bu gerçek bir telaş mı? Orada bir dil olması gerekiyordu. Bu belgenin SpaceX [S-1]’inden bile bazı açılardan daha ileri bir şekilde okumak için sabırsızlanmamın nedenlerinden biri de bu, çünkü bu fikirlerle ilgili muhtemelen ilginç olacak özel şeyler olduğunu düşünüyorum.
Kirsten: Şu var: Geleneksel bir yatırım ortamında, bu tür bir dilin bir şirketin değerlemesine zarar vereceğine inanılabilir, çünkü birden tehlikeli hale geliyor. Ama biz normal zamanlarda yaşamıyoruz.
Ve bu yüzden yine benim noktamı tekrarlıyorum, bu şirket için değerleme tarafında tuhaf bir şekilde faydalı bir kas gösterisi olabilir. Bu, geçen yıl gördüğümüz tüm öfke-çekme trendiyle aynı değil ama yine de, bir şeyin gücü, yeteneği, hatta tehlike unsurlarının yüksek değerlemeye eşit olduğu aynı evrende. Sanırım birkaç hafta içinde göreceğiz.
Bunu bir dakika bir kenara bırakırsak, bununla ilgili ne yapılıyor? Ve bunu kontrol edebilir miyiz? ControlAI adlı kar amacı gütmeyen bir kuruluşun ABD icra direktörü Connor Leahy bu hafta programda bu konudan bahsetti. Peki yapay zekanın tehlikeli yönlerini nasıl kontrol edeceğimiz konusunda nelere dikkat ediyorsunuz, yoksa ellerimizi mi açıp her şeyin gelişini mi izliyoruz?
Anthony: Bunun için kendimin mutlaka iyi bir cevabı yok ama bu tartışmanın bazı yönleri ve neden bu şekilde tepki verdiğim hakkında düşünüyorum.
Sean’ın noktalarından birini yinelemek gerekirse, bence bunun bir kısmı bu büyük yapay zeka şirketlerinin artık bu modellerin gerçekten kontrolünde hissetmemelerinin ne kadarına işaret ediyor. Bu kesinlikle iyi değil. Hepimizin endişelenmesi gereken bir şey bu.
Kıyamet anlatısına şüpheyle bakmamın ya da ona direnmemin nedenlerinden birinin, “Vay canına, bu insanlığı önümüzdeki 10 yıl içinde yok edebilir” seviyesine ulaşan bu histeri seviyesi olduğunu düşünüyorum. Bu, yapay zekanın yaratabileceği daha acil zararların, ister işgücüyle ilgili olsun ister çevre ve iklimle ilgili olsun, biraz dağıtıcısı.
İdeal olarak, bence tüm bu şeyleri tartışabilmeliyiz ve tüm bu şeylere karşı [yapay zekanın varoluşsal tehdidi de dahil] düzenleyici ve diğer türden güvencelere sahip olmalıyız. Ama AGI ve süper zekâ gibi ifadeleri kullanmaya başladığınızda, bu odadaki tüm oksijeni çok yardımcı olmayan bir şekilde emiyor.
