“Şaşırtıcı.” “Bunalttırıcı.” “Eşi benzeri görülmemiş.” “Gerçeküstü.” “Saf delilik.”
Bu ifadeler, OpenAI’ın bu hafta alana aniden bıraktığı matematiksel sonuçlar selini anlamaya çalışırken The Verge ile konuşan 30’dan fazla matematikçinin kullandığı tanımlardan bazılarıydı. Hayranlık, heyecan ve selin boyutuna ilişkin belirsizliğin yanı sıra bunun ne anlama geldiği ve sonrasında ne olacağı konusunda derin bir kaygı vardı. Araştırmacılar farklı tepkiler verse de, OpenAI’ın neyi yayımladığını anlamanın bile yıllar alabileceği, daha sonra matematikçilerin kendisinin artık değişen alandaki yerini bulmasının ise daha uzun süreceği konusunda hemfikirdi. Birçok kişi OpenAI’ın bu kadar uzun süre beklemeyeceğini, daha fazlasını yayımlamaya devam edeceğini ya da hemen ilerleyeceğini endişeyle dile getirdi.
Toplamda OpenAI yaklaşık 400 yapay zekâ üretimi sonuç yayımladı. Bu sonuçlar 700’den fazla makaleye yayıldı ve kombinatorik, geometrinin çeşitli dalları, sayı teorisi, teorik bilgisayar bilimi, cebir, topoloji, olasılık ve istatistiksel mekanik ile matematiksel fizik dahil olmak üzere çeşitli matematiksel disiplinleri kapsadı. Koleksiyon o kadar genişti ki OpenAI, genişleyen GitHub deposunda gezinmeye dair bir rehber yayımlamayı gerekli gördü.
Çalışmanın hacmi, şirketin tam olarak ne yayımladığına dair ön değerlendirmeyi bile zorlaştırıyor. Yayımlamanın ardından geçen saatlerde ve günlerde The Verge ile konuşan çoğu matematikçi her şeyi sindirmekte zorlandığını söyledi; birkaç kişi yaklaşık 40 sayfalık içindekiler tablosu ve özetleri üzerinden çalışmanın bile yaklaşık bir saatini aldığını belirtti. “Tüm özet listesini gözden geçirmek bunaltıcı” diyen Álvaro Lozano-Robledo, Connecticut Üniversitesi’nde matematik profesörü.
Yüzlerce makale arasında Lean’de formalizasyonlar yer alıyor. Lean, bir programlama dili ve ispat asistanı olup sonuçların hesaplamalı olarak doğrulanmasına olanak tanır. Bu formalizasyonlar OpenAI’ın önceki matematiksel iddialarını değerlendirmede önemli rol oynadı ve araştırmacılara bir iddia argümanı tam olarak anlaşılmasa bile mantıksal olarak doğru olduğuna dair güven verdi.
Ama her sonucun ne ölçüde doğrulandığı büyük farklılık gösterdi. GitHub’da OpenAI, sonuçların “doğrulamanın farklı aşamalarında” olduğunu ve “makalelerin birçoğunun, ama hepsinin değil, formalize edildiğini” kabul etti. Yazım sırasında koleksiyondaki makalelerin yarısından azının resmen tanımlandığı görülüyordu. OpenAI, 719 makaleden sadece 300 üst düzey sonucun formalize edildiğini, bu oranın yaklaşık yüzde 42 olduğunu söyledi ve “daha fazla formalizasyonu elde ettikçe depoyu güncelleyeceğiz” dedi.
Birkaç matematikçi The Verge’e formalizasyon eksikliği nedeniyle şikayette bulundu, özellikle sonuç sayısı göz önüne alındığında, ve Lean kodu bir sonuca eşlik etse bile değerlendirmenin anında olmadığını vurguladı. Araştırmacıların formalizasyonun gerçekten sonucun iddia ettiğini ispatlayıp ispatlamadığını kontrol etmesi gerekiyor; bu da zaman alıcı bir süreç. Makaleleri inceleyen bazıları, bilgisayar tarafından doğrulanabilir ispatlar sunulsa bile kalitenin tutarsız olduğunu ve doğrulanmış ifadelerin eşlik eden makalelerdeki iddialarla her zaman net bir şekilde örtüşmediğini söyledi.
Imperial College London’da matematik profesörü Kevin Buzzard, kendi çalışma alanı olan cebirsel sayı teorisindeki birçok teoremi tespit ettiğini, bunların yalnızca yaklaşık altısının hemen “dikkat çektiğini” söyledi. Bunların hiçbiri, ya da çok azı, Lean’de resmen doğrulanmış görünüyordu. “Dolayısıyla ben ya muhtemelen doğru olmayan bir metin okumak zorunda kalıyorum, ya başkalarının aynısını yapmasını bekliyorum, ya da sonuçların gerçekten doğru olduğunu söyleyebilmek için bunların formalize edilmesini bekliyorum.” Buzzard’ın endişelerini birçok başka araştırmacı da paylaştı.
Buzzard, yapay zekâ “çöpü” konusunda endişelenen tek kişi değildi. Terim, çevrimiçi olarak ve gerçek dünyada giderek artan şekilde ortaya çıkan, düşük kaliteli, sık sık hatalı yapay zekâ üretimi materyal için kısa bir ifade. Diğer alanlarda olduğu gibi matematikçiler, The Verge’e ChatGPT ve Claude gibi araçlarla son yıllarda üretilen bu tür materyalde büyük bir artış gördüklerini söyledi. Birçoğu kafa karıştırıcı, okunması zor ve konuya dair pek bir anlayış göstermiyor; özellikle diğer araştırmacılara atıf yapma konusunda oldukça yetersiz.
OpenAI’ın önceki matematiksel yazıları, özellikle zayıf ya da hiç olmayan atıfları nedeniyle uzmanlar tarafından geniş ölçüde eleştirilmişti. Yayımlama öncesinde The Verge ile konuşmalarda birkaç araştırmacı, yaklaşan makale selini “çöp kıyameti” ya da benzer varyasyonlarla adlandırmaya başlamıştı.
Bu korkulan “çöp kıyameti”nin gerçekten yaşanıp yaşanmadığı, yayımlanan malzemenin şaşırtıcı hacmi nedeniyle söylemek zor. Erken işaretler OpenAI’ın bu kez makalelerle daha özenli davrandığını, en azından bazılarıyla öyle olduğunu gösteriyor. Birkaç matematikçi The Verge’e ilk izlenimlerinin beklediklerinden çok daha iyi olduğunu söyledi, kendi itiraflarına göre bu pek yüksek bir bar değildi çünkü şirketin önceki kötü yayınları vardı.
Ama daha iyi olmak, iyi olmak anlamına gelmiyor, hele bu büyüklükte iddialar yapan akademik çalışmalardan beklenen standartlar söz konusu olduğunda. OpenAI’ın iddialarının birçoğu için resmî doğrulama eksik olduğundan, eşlik eden makalelerin kalitesi özellikle önemli; bunlar matematikçilerin sonuçları onaylamasının, anlamasının, incelemesinin ve bağlamsallaştırmasının birincil yolu.
Sağlam matematiksel makaleler üretmek en iyi koşullarda bile zor bir iş. Bunu bu ölçekte yapmak göz korkutucu bir girişim. OpenAI’ın modelleri matematiği şaşırtıcı bir hızda ve geniş bir uzmanlık yelpazesinde üretiyor; bu da insan personelinin kapasitesini aşıyor. Şirketin matematik alanında en ileri düzeydeki bulgularını uygun şekilde incelemesi için gerekli uzmanlık ve kaynaklara sahip değil. Araştırmacılar The Verge’e bunun görüldüğünü söyledi.
Birçok kişi takip etmesi zor, bazen pratik olarak imkânsız makaleler tanımladı. Brown Üniversitesi’nde matematik profesörü Brendan Hassett, The Verge’e “En iyi bildiğim problemin yazımı hızlı bir okumadan sonra pek bir anlam ifade etmedi” dedi. “Bu bir insan tarafından yazılmış olsaydı, anlamaya daha fazla zaman harcamazdım. Elbette bu 721 diğer ön baskıyı bırakıyor!” Hassett bunu OpenAI üç makaleyi geri çekmeden önce söyledi.
Birkaç araştırmacı The Verge’e kendilerinin ya da meslektaşlarının fark ettiği bazı makalelerin diğer matematikçiler tarafından daha önce işlenmiş zemini kapsıyor gibi göründüğünü söyledi, ancak materyali düzgün şekilde gözden geçirme şansı olmadan bunu kamuoyuna söylemekten çekindiler. Diğerleri çalışmanın olağandışı kısalığına dikkat çekti; normalde yüzlerce sayfada geliştirilmelerini bekledikleri sonuçlar birkaç düzine sayfaya ya da daha azına sıkıştırılmıştı.
Avustralya’daki Sidney Üniversitesi’nde matematik profesörü Nalini Joshi, yayımlanan içerikte hızlı bir arama yapmanın kendi çalışmalarıyla çok az örtüşme gösterdiğini söyledi, ancak incelediği bazı makalelerin “kısa kaynakçaları” olduğunu kaydetti. OpenAI’ın atıf uygulamalarına yönelik önceki eleştiriler göz önüne alındığında, makalelerdeki atıfların “tam hikâyeyi” içermeyebileceğinden endişe duyduğunu belirtti.
Ama tüm çöp ve belirsizliğe rağmen genel uzlaşı, yayımlamanın gerçekten etkileyici çalışmaları içerdiği yönünde.
Hacmi değerlendirmekteki zorlukları ve sonuçları uygun şekilde doğrulama ihtiyacını vurgulayan The Verge ile konuşan çok sayıda araştırmacı, sunumundaki eksikliklere rağmen çalışmanın çok yüksek bir kalitede göründüğünü söyledi. Yapay zekâ öncesi bir dünyada, OpenAI’ın sonuçlarının birçoğu açıkça üst düzey dergilerde yayımlanmayı hak ederdi ve yazarları için akademik bir kariyer sağlamaya yetecek nitelikte olurdu. Birkaçı, bir matematikçiyi ciddi bir Fields Madalyası adayı yapabilecek türden çalışmalar olarak tanımlandı; bu ödül disiplinin en yüksek onurlarından biri.
Stanford matematikçisi Jared Duker Lichtman, bu kategoriye koyacağı “onlarca” sonuç olduğunu söyledi; bunlar arasında Riemann hipotezine yönelik ilerleme, Hodge sanısının özel bir durumu ve dört boyutlu Kakeya sanısına bir çözüm yer alıyor. Bunlar matematikte büyük problemler. Riemann — tüm disiplin içindeki en ünlü çözülmemiş problemlerden biri — ve Hodge, yedi ünlü Milenyum Ödülü probleminden ikisi. Sırasıyla asal sayıların dağılımı ve çok kabaca karmaşık geometrik şekillerin daha basit yapı taşları açısından nasıl anlaşılmasıyla ilgileniyorlar. Kakeya ise kabaca bir iğne ya da kalemin her yöne döndürülmesi için ne kadar az alan gerektiği sorusunu soruyor. Kakeya’nın üç boyutlu versiyonuna bir ispat, bu yıl Fields Madalyası’nı kazanan NYU matematikçisi Hong Wang’ın başarıları arasındaydı.
Matematikçi Scott Armstrong, “Bu sadece kimsenin hiç duymadığı saçma problemler değil” dedi. “Birçoğu onlarca yıldır birçok kişinin denediği çok iyi bilinen problemler gibi.”
Toz duman azaldıkça matematikçiler kendilerini bir anda değişen bir manzaranın karşısında buldu. Birçok kişi yıllar süren çalışmalarının ve özenle hazırlanmış araştırma planlarının bir anda buharlaştığını izlemişti ya da izleyen meslektaşları vardı. Alanda tepkiler heyecan, dehşet, umutsuzluk ya da bunların arasında değişse de derin bir yönelim bozukluğu hissi vardı.
Ertesi sabah gelindiğinde bu ruh hali pek değişmemişti. Paris’te yürürken telefonla konuşan Armstrong, Sorbonne’un devam eden öğrenci protestoları nedeniyle kapalı olmasaydı ve meslektaşları her zamanki kahve makinelerinin etrafında toplansaydı atmosferin oldukça “ciddi” olacağını hayal etti.
İskoçya’da St Andrews Üniversitesi’nde matematik profesörü Colva Roney-Dougal, meslektaşları ve öğrenciler arasında benzer karamsar bir atmosfer tanımladı. Sel biraz “korkunç” hissettirdi, ancak haftalar süren belirsizliğin ardından gelmesi bir nebze rahatlama getirdi. “Bir grup arkadaşım ve meslektaşımın hibe başvuruları tam anlamıyla silindi” dedi.
Armstrong, tüm araştırma programı pratik olarak yayımlama tarafından “silinen” bir grup bildiğini söyledi. OpenAI’ın daha önce Navier-Stokes problemi üzerindeki anlaşmazlığının merkezinde olan NYU matematikçisi Tristan Buckmaster ise “üç kişinin tüm araştırma programının yok edildiğini” duyduğunu söyledi.
Benzer hikâyeler The Verge’in matematikçilerle yaptığı görüşmelerde tekrar tekrar ortaya çıktı, ancak aksama alanın bazı bölgelerinde yoğunlaşmıştı. İskoçya’daki Heriot-Watt Üniversitesi’nde matematik profesörü Francesco Fournier-Facio, olasılık, kombinatorik ve teorik bilgisayar bilimi araştırmacılarının “özellikle şokta” göründüğünü, alanının bazı bölgelerinin, grup teorisinin “bina yıkıcı” şekilde etkilendiğini söyledi.
Armstrong ve diğer araştırmacılar bazı alanların neredeyse askerî bir kesinlikle hedeflenmiş gibi göründüğünü söyledi. “Kesinlikle bazı hedefler vardı” dedi Armstrong. Bu yıl Wang’ın Fields Madalyası aldığı alanın yanı sıra birkaç Milenyum Ödülü problemini işaret etti. Matematiksel fizikteki bir sonuç kümesi, OpenAI’ın Yang-Mills teorisini — modern parçacık fiziğinin büyük kısmının altında yatan matematiksel çerçeve — ve çözülmemiş “kütle boşluğu” problemini, yedi Ödül probleminden biri olanı takip ettiğini açıkça gösteriyor.
Başka yerlerde araştırmacılar kendi çalışmalarının ne kadar az etkilendiğine dair şaşkın bir rahatlık ifade etti. Roney-Dougal, kendi alanı olan büyük ölçüde grup teorisi merkezli alanın nispeten zarar görmeden kurtulduğunu söyledi. “Çok modası geçmiş bir alanda çalıştığım için şanslıyım” diye espri yaptı, ancak daha sonra bir makalede kendi çalışmasına atıf bulduğunu söyleyerek “emin değilim” mesajını gönderdi.
Joshi de kendi çalışmalarıyla çok az örtüşme buldu; çalışmaları büyük ölçüde tam olarak çözülebilen entegre sistemlere odaklanıyor. Bunun, alanının uzun süredir devam eden, resmen ifade edilmiş varsayımlar ve tanımlar tarafından yönlendirilmek yerine fizikteki gelişmelerle dalgalanan sorular tarafından yönlendirilmesinden kaynaklanıyor olabileceğini öne sürdü.
Kendi çalışmalarının doğrudan etkilenip etkilenmediğine bakılmaksızın The Verge ile konuşan çoğu matematikçi, alanın bir tür eşiği aştığı ve bir gün öncesine göre artık aynı olmadığı hissini paylaştı. Institute for Advanced Study’de araştırmacı Constantin Kogler buna “matematik tarihindeki en önemli tek an” dedi; London Institute for Mathematical Sciences’teki bir meslektaş Yang-Hui He ise bu yılki yapay zekâ destekli gelişmeleri, disiplinin en etkili çalışmalarından biri olan Öklid’in Elementleri’nin yayımlanmasıyla karşılaştırdı.
Az sayıda araştırmacı bu kadar büyük değerlendirmelerde bulundu, ancak matematik hızla değişiyor ve matematikçilerin de onunla birlikte değişmesi gerekecek konusunda genel bir uzlaşı vardı.
OpenAI yayımlamanın bozucu olacağını biliyordu ve darbeyi hafifletmek ve matematiksel toplulukla etkileşime geçmek için bazı çabalarda bulundu. Bu yılın başlarında araştırmacılarla yaşadığı birkaç zorlu karşılaşmanın ardından şirket, sonuçları sorumlu bir şekilde nasıl yayımlayacağına dair yardım için matematikçilere yöneldi ve yeni kurulan Matematik ve Yapay Zekâ Danışma Grubu AGMAI ile çalıştı.
