Yapay zeka çıkarım bulutu girişimi General Compute, teknoloji yatırım firması Upper90'dan 400 milyon dolarlık bir kredi aldı. Bu, teminat olarak çıkarıma özel çiplerin gösterildiği ilk anlaşma olabilir. Bu çipler, modelleri ilk etapta oluşturmak için kullanılan daha pahalı çipler yerine, halihazırda eğitilmiş yapay zeka modellerini hızlı ve verimli bir şekilde çalıştırmak için üretilmiş durumda.
Bu finansman, piyasaların yapay zeka araçlarının ve token'larının fiyatına ilişkin endişelere, öncü laboratuvarların en yeni büyük dil modellerinden daha ucuza açık kaynak modelleri çalıştıran altyapıya yönelerek yanıt verdiğinin en son işareti.
CEO Finn Puklowski tarafından kurulan General Compute, Mayıs ayında Intel destekli çip üreticisi SambaNova'nın silikonu etrafında bir çıkarım neobulutu inşa etmek için 15 milyon dolarlık bir tohum yatırımı almıştı. (Neobulutlar, AWS veya Azure gibi geleneksel hiper ölçekleyicilerin sunduğu genel amaçlı altyapının aksine, yapay zeka iş yükleri için özel olarak tasarlanmıştır.)
Şirketin SN50 çipleri çıkarım için tasarlandı. Güç açısından verimliler ve pahalı su soğutma sistemleri gerektirmiyorlar, bu da GPU'lardan daha hızlı bir şekilde daha geniş bir veri merkezi yelpazesinde dağıtılabilecekleri anlamına geliyor. General Compute, yeni çiplerin GPU tabanlı bulutlardan 16 kat daha hızlı çıkarım sağlayacağını söylüyor.
Asıl zorluk, özellikle yepyeni bir şirketken bu çiplerden çok sayıda temin etmek.
Eski bir Goldman Sachs niceliksel işlemcisi olan Upper90'ın kurucu ortağı ve CEO'su Billy Libby'nin bunun için bir oyun kitabı vardı: 2021'de firması, enerji odaklı veri merkezi girişimi Crusoe'nun GPU alımlarını finanse etti ve bunun, gelişmiş çiplerin değerine karşılık verilen ilk kredi olduğuna inanıyor.
Geleneksel borç verenler, GPU amortismanı etrafındaki riskler ve belirsizlikler nedeniyle o zamanlar bu tür anlaşmalardan kaçınıyordu. Ancak CoreWeave, çip destekli kredileri bir iş modeline ve ardından rekor kıran bir halka arzın temeline dönüştürdükçe, bu tür finansman yaygınlaştı.
“Nvidia GPU'larını finanse eden ilk grup olarak bunu yaptığımızda piyasa verimsizdi,” dedi Libby TechCrunch'a. “Erken bir katılımcı olarak gerçekten bir şeyler bir araya getirebildik ve riskin karşılığını bir şekilde aldık.”
GPU'lar artık nispeten iyi anlaşıldığı ve belki de gereğinden fazla satın alındığı için Upper90, yapay zeka patlamasının bir sonraki dalgasını yakalamak üzere General Compute gibi şirketlere yöneliyor. “Açık kaynak modellerin önemli olacağını düşünüyoruz ve geçen yıl çıkarım alanında bir oyuncu aradık,” dedi Libby. “Herkesin bir süper bilgisayara ihtiyacı yok, ancak çıkarıma ve yapay zekaya ihtiyaçları var.”
Bu tez giderek güçleniyor. OpenRouter ve Fireworks gibi açık modellere erişim sağlayan şirketler, büyük değerlemelerle yeni turlar topluyor. Kimi'nin K3'ü gibi yeni modeller, bu hafta içinde, kodlama kıyaslamalarında Anthropic ve OpenAI'in en son sürümleriyle rekabet edebileceğini kanıtladı. Groq ve Cerebras gibi yeni çip üreticileri ise hem satın alanların hem de halka açık piyasaların ilgisini çekiyor.
General Compute'un Nvidia ekosistemi dışındaki çiplere erişebilmesi de aynı nedenle önemli. Bir başka yapay zeka altyapı şirketi olan TensorWave de AMD ile ortaklık üzerine benzer bir bahis oynuyor. Nvidia'ya daha fazla alternatif ortaya çıktıkça, Nvidia anlaşmalarına kilitlenmemiş bilişim sağlayıcıları, uygun maliyetli çıkarım sağlama konusunda avantajlı olabilir.
“Ölçeklenmeye başlayan ve inanılmaz bir toplam sahip olma maliyetine sahip olan ya da Nvidia'dan çok daha hızlı çalışabilen bir sürü çip var, ancak bunlar için çok fazla alıcı yok,” dedi Puklowski. “Upper90 ile bir araya gelerek, bu sadece 'havalı bir girişimin biraz bilgisayar gücü almak için para bulması' değil. Bu, sermayenin kendini organize etmesinin ve Nvidia'nın tekelci hakimiyetinin parçalanmasının ilk sinyali.”
