İnsanlar, tahminlere göre en az 100 bin yıldır birbirleriyle konuşuyor. Ve bunca zaman boyunca, dünyada bir insan dilini kusursuz bir akıcılıkla öğrenebilen tek bir varlık vardı: İnsan çocuğu.
Artık iki tane var.
ChatGPT'nin piyasaya sürülmesinden sadece dört yıl sonra, çoğumuz telefonlarımızla veya bilgisayarlarımızla doğal bir şekilde sohbet edebilmeyi kanıksadık. Claude, DeepSeek ve OpenAI'ın GPT modelleri gibi büyük dil modelleri, insanları inandırıcı bir şekilde taklit edebilecek kadar akıcı ve esnek. Ancak işin mutfağına baktığımızda bir gerçek ortaya çıkıyor: Bir bilgisayara insan dilini öğretmek, insanüstü miktarda veri gerektiriyor. Bir büyük dil modeli, bir insanın ana dilini öğrenme sürecinde maruz kaldığı kelimelerin yüz bin katını rahatlıkla işleyebiliyor. Bu miktar, çocukların dil kavramaya başladıkları ilk yaş günlerine kadar duydukları kelimelerin çok daha fazlasına tekabül ediyor.
Stanford Üniversitesi'nden bilişsel bilimci Michael C. Frank, büyük dil modelleri için "Son dönemde kaydedilen ilerleme gerçekten inanılmaz" diyor. "Ancak bu kilometre taşını yeniden yaratmak için hâlâ koca bir ormanı yok etmemiz ve tüm insanlık bilgisinin toplamını kazımamız gerekiyor. Oysa bu süreç, bizim oturma odalarımızda sadece bir yıl içinde gerçekleşiyor."
Çocuklar ve makineler arasındaki bu devasa farka "veri verimliliği uçurumu" deniyor. Bu durum, bilişsel bilimciler için büyüleyici bir soruyu, yapay zeka modellerinin mimarları içinse büyük bir meydan okumayı beraberinde getiriyor: Çocuklar, şimdiye kadar inşa edilmiş en gelişmiş dil makinelerini nasıl oluyor da hâlâ geride bırakabiliyor?
Bu sorunun cevabını bulmak, hem yapay zeka araştırmaları hem de bilişsel bilim için büyük önem taşıyor. Son on yılda dil modelleri genellikle büyüyerek daha iyi hale geldi. İki yıl önce piyasaya sürülen Meta'nın açık ağırlıklı büyük dil modeli Llama 3.1, ön eğitim aşamasında 15 trilyon token (dile benzer dil parçacıkları) tüketti. Ön eğitim, modelin sohbet botu gibi belirli bir görev için ince ayar yapılmasından önce gerçekleşen ana eğitim adımıdır. Georgetown Üniversitesi'nden bilişsel bilimci ve dilbilimci Ethan Gotlieb Wilcox'a göre, öncü modeller şu anda bundan 10 kat daha fazla veriyle ön eğitim alıyor. Ancak eğitilebilecek sınırlı bir internet verisi var ve er ya da geç, belki de 2030'ların başında, kolayca erişilebilir veri kuyusu kuruyabilir.
Çocuklar, daha azıyla daha fazlasını öğrenmenin mümkün olabileceğini gösteriyor. Hem de çok daha azıyla. Dil açısından zengin bir evde büyüyen bir ergen, yaklaşık 100 milyon kelime duymuş olabilir. Okuma yazma becerisini de işin içine kattığınızda, bu sayı 20 yaşına gelindiğinde belki 300 milyon kelimeye çıkabilir.
Boyuttaki bu farkı ancak benzetmelerle ifade edebiliriz. Wilcox, "Claude, koca bir şehrin bir nesil boyunca deneyimlediği dil miktarını gördü" diyor. Modern bir büyük dil modelini eğitmek için kullanılan tüm kelimeleri kağıda basıp üst üste koysaydınız, Uluslararası Uzay İstasyonu'nun ötesine uzanan bir yığın elde ederdiniz. Oysa bir ergenin duyduğu 100 milyon kelime ancak 20 metrelik bir yığın oluştururdu. Ve biz bundan çok daha azıyla idare edebiliyoruz.
Bilim insanları, çocukların öğrenme biçimini tersine mühendislikle çözerek daha veri verimli yapay zeka modelleri yaratmayı umuyor. Bu modeller, yapay zekayı videolar üzerinde etkili bir şekilde eğitmekten azınlık dil topluluklarına hizmet eden sohbet botları oluşturmaya kadar her alanda faydalı olabilir. İnsan öğrenmesine dair hipotezleri makine modellerinde test etmek, dil ve çocukların gelişen zihinleri hakkında kalıcı soruları da çözebilir. Dil içgüdüsüyle mi doğuyoruz, yoksa bir çocuk ilke olarak sadece deneyim yoluyla dil öğrenebilir mi? Dili işleme biçimimiz biyolojimizin bir tuhaflığı mı, yoksa en azından bir kısmı dillerin nasıl kullanılıp öğrenilebileceğine dair evrensel kısıtlamaları mı yansıtıyor?
Temel unsurlar
Çoğumuz dilin ne kadar zor olduğunu ancak çocukluktan sonra yeni bir dil öğrenmeye çalıştığımızda fark ederiz. Past perfect tense, yuvarlanan r'ler, genizden çıkan sesler, tamlayan hali, deyim fiiller, gramer açısından eril masalar ve dişil kaşıklar... Yetişkin bir dil öğrencisi için dilsel işkencenin sayısız aracıdır bunlar. Ancak ana dilimizi öğrenmek genellikle zahmetsizdir. Çocuklar, genellikle 10 milyon kelime duyduktan sonra, en uç durumlarda ise 30 milyon kelime duyduktan sonra gramer açısından doğru cümleler kurmaya başlar.
Frank, "Bu tamamen mucizevi bir durum" diyor. "GPT-2'yi 30 milyon kelimeyle eğitirseniz, size bir saçmalık üreticisi verir; size bir çocuk vermez."
Bebeklerin bunu tam olarak nasıl başardığı bir gizem. Araştırmacılar çocukların ne öğrendiğini ve gelişimin farklı aşamalarında dili nasıl kullandıklarını çok iyi biliyor, ancak hâlâ bilmediğimiz çok şey var. Belki de en kalıcı soru, bebeklerin neden dil öğrenebildiği sorusudur. İnsan dilinin sözdizimi, yani kelimeleri cümleler halinde birleştirme kuralları, sınırlı bir kelime dağarcığıyla neredeyse sonsuz sayıda fikri ifade etmemizi sağlayan özyinelemeli ve iç içe geçmiş yapılar içerir. Bu durum bebekler için bir sorun teşkil etmeli gibi görünüyor. Sonsuz bir dil okyanusunun sadece sığ sularında çırpınıyorlar. Ve nedense bu, onlara yetiyor. Bir damladan okyanusun derinliklerini çıkarıyorlar.
1950'lerde MIT'li dilbilimci Noam Chomsky tarafından ortaya atılan bir çözüme göre, bebekler gramer konusunda donanımsal bir bilgiyle doğuyorlar. Chomsky bu görüşü, dil ediniminin tamamen çevresel olduğunu savunan psikolog B.F. Skinner'ın görüşüne bir tepki olarak geliştirmişti. Skinner, dilin tıpkı bir köpeğin ödül için oturmayı veya el sıkışmayı öğrenmesi gibi, koşullanma ve pekiştirme yoluyla öğrenildiğini düşünüyordu. Chomsky ise "uyarıcı yoksunluğu" kavramıyla karşılık verdi. Bu kavrama göre dil, özellikle de sözdizimi, çocukların maruz kaldığı deneyimlerden tamamen öğrenemeyecekleri kadar karmaşıktı ve bu deneyimler "yoksundu". Kaliforniya Üniversitesi, Irvine'dan dilbilimci ve bilişsel bilimci Richard Futrell, "Onun temel argümanı, esasen dilin sadece istatistiklere dayanarak öğrenilemeyeceği yönündeydi" diyor. Chomsky bunun yerine dilin bir dizi mantıksal kurala dayandığını öne sürdü ve çocukların kendi dillerinin gramerini konuşma kırıntılarından çıkarabilmeleri için bu kurallara dair doğuşt gelen bir bilgiye ihtiyaçları olduğunu savundu.
"Bu tamamen mucizevi bir durum... GPT-2'yi 30 milyon kelimeyle eğitirseniz, size bir saçmalık üreticisi verir; size bir çocuk vermez."
Michael C. Frank, Bilişsel Bilimci, Stanford Üniversitesi
Chomsky'nin dile bakış açısı, "üretici dilbilgisi" adıyla ABD'de dilbilim alanında on yıllarca hüküm sürdü. Ayrıca 1950'ler ve 60'larda, yapay zekanın ilk yükseliş dönemini yaşadığı ve dilbilim ile doğal dil işleme hatlarının askeri fon akınıyla eridiği dönemde bilgisayar bilimini de büyük ölçüde etkiledi. Pentagon, İngilizceyi anlayabilecek ve Rusçayı çevirebilecek bilgisayarlar istiyordu.
İstatistiksel kalıpları tanımayı ve yeniden üretmeyi öğrenen basit sinir ağlarının erken başarılarına rağmen, ABD'deki yapay zeka araştırmacıları büyük ölçüde Chomsky'nin teorilerinden etkilenen kural tabanlı bir çerçeveyi benimsedi. Bilgisayarlara dili öğretmek için kuralları programlara açıkça kodlamaya çalıştılar. Yani tam anlamıyla bir dalma deneyiminden ziyade, bir dilbilgisi dersi gibiydi. Sembolik yapay zeka olarak adlandırılan daha geniş bir trendin parçası olan bu yaklaşım on yıllarca geçerliliğini korudu. Ancak insan dilini büyük ölçekte işleyebilecek modeller üretmede büyük ölçüde başarısız oldu. 1970'lerde başlayan "yapay zeka kışı" ile doğal dil işlemeye olan ilgi soğudu.
Bunun ardından sinir ağları yeniden yükselişe geçti. Ancak performansları ancak 2010'larda, bilgisayar donanımlarının ucuzlayıp yetenek kazandığı ve internetin büyüdüğü dönemde dikkat çekmeye başladı. 2018 ve 2019 yıllarında, yeni bir mimari olan "transformer" üzerine kurulu ve milyarlarca token ile eğitilen BERT ve GPT-2 modelleri, devasa bir veri yığınından öğrenmenin dil için işe yarayabileceğini sektörün içine gösterdi. 2022'de OpenAI'ın sohbet botu ChatGPT'nin patlayıcı başarısıyla birlikte, bu gerçek herkes için netleşti.
Büyük dil modelleri beyin değildir. Onlar, insan korteksinde evrimleşmiş biyolojik tuhaflıklardan hiçbirine sahip olmayan, güçlü istatistiksel öğreniciler, saf kalıp öğrenme makineleridir. Başka bir deyişle, tam da yirmi yıl önce bir üretici dilbilimcinin dil öğrenemeyeceğini düşüneceği türden şeylerdir. Ve işte buradalar; inandırıcı soneler yazıyor ve dilbilgisi testlerini geçiyorlar.
