“Sinir ağlarının doğası hakkında iyi haberim var.” Bu iyimser sözlerle AI girişimi Goodfire'da araştırmacı olan Nick Cammarata, AI dünyasını baş aşağı eden, vahşi spekülasyonların yanı sıra temkinli ve temkinli olmayan kutlamalara da yol açan 26 bin kelimelik bir blog yazısına başladı.
Cammarata'nın iddiası, büyük dil modellerinin aslında insanların daha önce düşündüğünden çok daha kolay anlaşılabilir olabileceği ve böylece izlenebilir ve kontrol edilebilir olabileceğidir. Eğer doğruysa, bu büyük bir mesele.
OpenAI ve Anthropic gibi önde gelen firmaların inşa ettiği ajan sürülerinin yaz boyunca kontrol mekanizmalarını kırıp kamu internetinde kaos yarattığı, şirketlerin ajanlarının ne yaptığının farkında olmadığı yönündeki açıklamaların ardından AI sektörü inşa ettiği teknolojinin daha iyi bir kontrolünü ele geçirmek için can atıyor.
İşte blog yazısının bu kadar güçlü bir etki yaratmasının bir nedeni. Bir AI araştırmacısı X'te şunları yazdı: “Bunun bilimsel tarih açısından büyük bir an olarak hatırlanacağını düşünüyorum; bir sinir ağının ne olduğu hakkındaki anlayışımın beş yıl falan ileri fırlatıldığını hissediyorum.” Bir diğeri de bunun “yılın en önemli AI makalesi” olduğunu söyledi.
Herkes ikna olmuş değil. Stanford Üniversitesi'nde büyük dil modellerinin nasıl çalıştığını anlamaya çalışan bir ekibi yöneten Chris Potts, Cammarata'nın paylaştığının bir seziden öteye gitmediğini söylüyor. “Bana göre bu blog yazısı sorunları daha kolay hale getirmiyor,” diyor. “Bunu hiç söylememeyecektim ama sosyal medyada çok önde gelen insanlar bunun her şeyi kapsayan bir atılım olduğuna inanıyor gibi görünüyor.”
Yazısı patladıktan bir gün sonra Cammarata ile konuştum. Tepkiden şaşırdığını söylüyor: “İnsanların AI hakkındaki inançlarını bu kadar çok güncellemesini beklemiyordum.”
“Sinir ağlarına bakmayı gerçekten çok seviyorum,” diyor. “Dürüst olmak gerekirse bunu yapmayı seviyorum. Ve çok baktıktan sonra, umut verici bir hikayem var.”
Düğümlenmiş ağlar
Sinir ağlarının mekanizmalarının, çoğu AI modelinin temelini oluşturan yazılımın, tamamen çözülmesinin çok zor—belki de imkansız—olduğu uzun süredir kabul ediliyor. Bunun nedeni, ağlar eğitilirken insanların anlamlandıramayacağı tuhaf, dolaşık yapılar edinmiş gibi görünmesidir. Araştırmacılar günümüz AI'sinin bir köprü gibi inşa edilmediğini, bir bahçe gibi yetiştirildiğini söyler.
Cammarata bu görüşü yerleştirmek için çoğu kişiden daha fazlasını yaptı. Daha önce OpenAI'de çalıştı ve araştırmacıların modellerin içine bakmasına olanak tanıyan tekniklerin öncülüğünü yaptı; bireysel nöronları sorgulayıp neyi temsil ettiklerini görebilen araçlar da dahil. Bu, beyinleri incelemek için nörobilimcilerin MRI kullanmasına biraz benziyor. MIT Technology Review bu yaklaşımı, mekanistik yorumlanabilirlik olarak bilinen yaklaşımı 2025'in en sıcak 10 teknolojisinden biri olarak seçti.
2020'de Cammarata ve meslektaşları Inception v1 adlı küçük bir görüntü tanıma modelini inceliyordu. Nöronlarına baktıklarında, aynı anda birden fazla şeyi yakalamak için kullanıyor gibi görünüyordu. Örneğin, bir nöronun hem araba görüntülerine hem de kedi görüntülerine tepki verdiğini buldular.
Araştırmacılar modelin en azından bazı nöronlarını çoklu görev yapacak şekilde kullandığı sonucuna vardı, belki de daha fazla veri sığdırabilmek için. Diğer modellere bakmak bunu destekliyor gibi görünüyordu. Olay süperpozisyon olarak bilinir hale geldi: Modeller alakasız kavramları tek nöronlara katlıyordu. Sonuç açıktı: Bir modele baktığınızda gördüğünüz şey, geniş, dolaşık bir düğümdü.
Mekanistik yorumlanabilirlik araştırmalarının çoğu bu yüzden o düğümü çözmeye odaklandı. Ancak birkaç atılım olmasına rağmen ilerleme yavaştı. Günümüz modelleri, en son büyük dil modelleri gibi, o kadar büyük ve karmaşık ki araştırmacılar bir seferde yalnızca çok küçük parçaları anlayabiliyor. Alandaki bazı önde gelen isimler bir büyük dil modelinin ince ayrıntılarıyla anlaşılmasının hiç mümkün olmayacağını düşünüyor.
Cammarata onlardan biriydi. “Çok kötümserdim,” diyor. Ama sonra gerçekten bakmaya değer verdi.
Sadece nöronlar
Goodfire'da Cammarata zamanının neredeyse tamamını sinir ağlarının içine bakarak geçiriyor. Yeni araçlar inşa etti ve gördüklerini anlamasına yardımcı olmak için AI ajanlarından oluşan ekipler kullanıyor. “Bilmiyorum, geçen yılın çoğunda günde yaklaşık 10 saat, haftada yedi gün sadece nöronlara baktım,” diyor.
İddiaya göre fark ettiği şey, sinir ağlarının ilk bakışta hiçbir anlam ifade etmiyor gibi görünse bile aslında bir tür mantığa sahip olduğudur. “Yanlış bakıyorduk,” diyor. “Bence biraz daha sıkı çalışmak istiyorsun; çok çabuk vazgeçmek istemiyorsun.”
Cammarata neredeyse bir inanç dönüşümü gibi anlatıyor. Inception v1 gibi modellerle yapılan o erken deneyler, sinir ağlarının dolaşık olduğu yönünde bir teyit yanlılığı yarattı. Araştırmacılar yeni bir modele baktıklarında şaşkın kalacaklarını beklediklerini söylüyor. “Her şeyi anlayamadığımda, ‘Vay, bu çözme süreci benden düşündüğümden daha önemli, çünkü ilerleme kaydedemiyorum’ diyordum.”
Ama Cammarata nöronlara ne kadar çok baktıysa, şeyler o kadar yerine oturmaya başladı. “Hiçbiri kusursuz değil ama hiçbir şeyin okunabilir olmasını, ya da çok az şeyin okunabilir olmasını bekliyordum,” diyor. “Ve aslında, tüm devreleri haritalayabildim.”
Arabalara ve kedilere geri dönüş
Cammarata yeni yaklaşımını ve yeni ajanlarını Inception v1'e geri götürdü. “Bunu muhtemelen binlerce saat çalışmıştım,” diyor. Ama taze gözlerle Cammarata, ilk seferde yanlış anladıklarını düşündüğü şeyler buldu. Araba ve kedi nöronunu ele alalım. Birden fazla alakasız şeyin tek bir nörona nasıl sıkıştırıldığını sormak yerine, bu şeylerin ortak ne olabileceğini bulmaya çalıştı.
Onun için bir V şekliydi. “Aynı görüntülere bakıyordum; teknik bir değişiklik yoktu,” diyor. “Ama artık sinir ağlarının kalıplar tanımladığına inanıyordum ve bu yüzden farklı baktım. Muhtemelen beş saniyem aldı.”
Görüntü tanıma modeli arabaları ve kedileri aynı yere paketliyordu çünkü her iki şeyin de resimlerinde genellikle belirgin bir V şekli bulunuyordu: bir kedinin yüzü; yandan görülen bir arabanın önü.
Cammarata nöronun neye tepki verdiğini kontrol etmek için birkaç deney yaptı ve bunların arasında bir bilardo masasının köşesi, bir Japon yüksek hızlı treninin sivri burnu ve güvertesinden suya su atan bir yangın söndürme botu bulunduğunu tespit etti. Nöronu neyin kapattığını da kontrol etti ve bunun arasında yuvarlak bir O şekli, bir çeşit anti-V içeren görüntülerin bulunduğunu gördü.
Model kedileri ve arabaları aynı yere depolamıştı çünkü bir bakıma aynı görünüyorlardı, diyor Cammarata. “Ve ben ‘Vay, tamam, sanırım sinir ağlarını genel olarak yanlış anlamışım’ dedim.”
Cammarata büyük dil modellerinin veya herhangi bir modelin nasıl çalıştığını henüz tamamen anladığını söylemiyor. Tam anlamanın imkansız olmadığını artık düşünmediğini söylüyor. “Önceden çözülmesi gereken gerçekten zor sorunlar olacağını düşünüyordum,” diyor.
“Şimdi eğer bir öncü dil modeline bir devre birer devre bakmak için 100 bin yılım olsaydı, iyi bir anlayışa ulaşma şansımın oldukça iyi olduğunu hissediyorum.”
Şunları ekliyor: “Ve eğer bu doğruysa, işler gerçekten iyi, çünkü inanılmaz derecede akıllı ajanları çılgın bir ölçekte elde edeceksin. Ve benim 100 bin yılımı alacak şey, çok daha hızlı yapabileceğiz. Otomatik bilim insanları gerçekten iyi hale geliyor.”
Sınırsız iyimserlik
Google tarafından 2014'te inşa edilen Inception v1, günümüzün en ileri teknolojisinden çok daha basit bir model. Cammarata ve meslektaşları modern büyük dil modellerine bakmaya başladılar ve bu çalışmanın teknik sonuçlarını yakında yayınlamayı planlıyorlar. Birçok araştırmacı bu detayları görmeyi dört gözle bekliyor. Stanford Üniversitesi'nden Potts, “Binlerce örneğe baktığını takdir ediyorum ama burada büyük bir sayı, titiz bir değerlendirmenin yerini tutmaz,” diyor.
Bu arada bazıları abartıya sert tepki veriyor. Berkeley merkezli kâr amacı gütmeyen bir araştırma laboratuvarı olan Alignment Research Center'da çalışan ve daha önce Cammarata ile iş birliği yapmış olan Jacob Hilton, iddialarının insanların yaptığı kadar önemli olmadığını düşünmüyor.
X'teki bir dizi paylaşımda Hilton, araştırmacıların üst düzey büyük dil modellerinin iç işleyişinin yüzde 0,01'inden daha azını anladığını belirtiyor. “Nick Cammarata'nın sınırsız iyimserliğini birlikte takılırken her zaman takdir ederim ama maalesef bu, alandaki durum hakkında kamuoyuna gerçek dışı bir tablo çiziyor,” diye yazdı. “Tam bir anlayış için nöronların ötesine geçip bunların birbirine nasıl bağlanarak devreler oluşturduğunu açıklamamız gerekiyor. Bu nasıl gidiyor? Tam bir anlayış hedefliyorsak işler iyi görünmüyor!”
Mekanistik yorumlanabilirliğin öncülerinden olan Google DeepMind'den Neel Nanda da şüpheci. X'te şunları yazdı: “Bu ilginç bir çalışma ama yorumlanabilirlik büyük resmine önemli bir güncelleme olduğunu düşünmüyorum.”
Nanda, bireysel nöronların ne yaptığını anlamanın araştırmacıların belirli modellerin neden yanlış davrandığını anlamasına yardımcı olabileceğini kabul ediyor. Ama Hilton gibi o da nöronların çok daha büyük bir bulmacanın sadece bir parçası olduğunu belirtiyor. “Bu tür büyük çıkarımlarla, bunun iddialı ters mühendisliğe veya yorumlanabilirlik sorununu çözmeye önemli bir ilerleme olduğu gibi bazı insanların görüşlerine katılmıyorum,” diye yazdı.
Cammarata birçok kişinin söylediklerini fazla ileri götürdüğünü kabul ediyor: “Bu sonsuz derecede iyi haber değil; her şey çözülmüş değil,” diyor. “Nöronların kombinasyonlarının tek tek nöronlara göre ne kadar önemli olduğu gibi bir sürü açık soru var.”
Cammarata blog yazısının insanların umut aradığı bir zamanda yayınlandığını söylüyor. Özellikle güçlü modellerin büyük riskler getireceğinden en çok endişe duyan araştırmacılar ve politika yapıcılar olan AI güvenliği topluluğunun şu anda bir can simidine ihtiyacı olduğunu düşünüyor. Onlara göre işler kötü gidiyor ve hatta her şey yolunda giderse bunun şans eseri olacağı, bir şeyleri düzeltmemiz yüzünden olmayacağı, diyor: “Çok fazla iyimserlik duymuyorum.”
İşte Cammarata'nın söylediklerinin önemli olduğunu düşündüğü yer. Bu teknolojinin nasıl çalıştığını, dolayısıyla nasıl kontrol edileceğini anlamak işi yeni başlıyor. Ama en azından bu bir çıkmaz değil. “İşimiz bir şekilde sinir ağını düşünmeye çalışmak,” diyor. “Tahminim işlerin oldukça iyi gideceği yönünde, çünkü bir anlamda okunmak üzere tasarlandı.”
