Nvidia'nın pazardaki tartışılmaz hakimiyeti henüz bitmiş değil, ancak her yönden rakipler ve seçenekler ortaya çıkıyor.
Turing Ödülü sahibi Yann LeCun'un da desteklediği Fransız yapay zeka girişimi ZML, birçok farklı çipte (Nvidia, AMD, Google TPU, Apple Metal ve Intel Arc dahil) açık kaynak büyük dil modellerini çalıştırabilen bir inference performans yazılımı yayınladı.
Yeni lansmanı yapılan LLM inference sunucusu ZML/LLMD ile şirketin hedefi, mevcut siloları kırmak ve farklı çipleri yapay zeka kullanım senaryoları için maksimum hızda, hatta bazen daha hızlı kullanılabilir hale getirmek. Bu bilgiyi ZML'nin kurucusu Steeve Morin, TechCrunch'a verdi.
Morin'e göre yapay zeka iş ve günlük hayatımıza entegre oldukça, promptların işlenmesi anlamına gelen inference'ın optimizasyonu, model eğitimini geride bırakmış durumda. Ancak arka planda yazılım ve mimari engeller nedeniyle bu süreç genellikle tutarsız ilerliyor ve satıcı bağımlılığına yol açıyor.
Farklı çiplerde en yüksek performansı vaat etmek teknolojik bir başarı olduğu kadar, yapay zeka maliyetlerine ilişkin artan endişeler ortamında pazarı sarsabilecek bir hamle olarak görülüyor.
ZML, işletmelere ve bulut sağlayıcılarına, bazıları daha düşük maliyetli veya daha az enerji tüketen farklı çipleri bir arada kullanma seçeneği sunmayı hedefliyor. Morin, "Amaç, insanlara kendi sistemlerini oluşturma gücünü geri vermek ve yapay zekanın yaygınlaşmasını sağlayacak gerçek verimlilik kazanımları elde etmek" dedi.
Morin, bu tür bir yazılım desteğinin, çoğu Avrupa merkezli olan yeni nesil yapay zeka çipi üreticilerine (Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud ve VSORA) yardımcı olabileceğini belirtti. Ancak onun için önemli olan, bu şirketlerin kökeninden ziyade ZML'nin onlarla "dünyada daha önce hiç yapılmamış şeyler" üzerinde çalışabilmesi.
Bu, Morin'in Nvidia'ya karşı olumsuz olduğu anlamına gelmiyor. Öyle değil, kısmen mevcut arzı nedeniyle. TechCrunch'a konuşan Morin, ZML'nin yapay zeka deviyle iyi ilişkileri olduğunu ve Nvidia'nın inference'ın yükselişine hazırlandığını söyledi.
Inference o kadar yoğun bir yatırım alanı haline geldi ki bu trend "inference altına hücumu" olarak adlandırılıyor. ZML'nin bu alanda rakipleri de var: 13 milyar dolar değer biçilen Baseten, açık kaynak vLLM projesinin yaratıcılarından Inferact ve SGLang'ın arkasındaki ticari şirket RadixArk.
Hem vLLM hem de SGLang kısmen LLMD ile rekabet ediyor, ancak Morin'in ZML için hedefleri daha geniş bir yelpazeyi kapsıyor. "Artık silikonu birlikte tasarladığımız noktaya geldik" dedi. Ayrıca, Paris merkezli girişimin 20 kişilik küçük ekibinin hızlı hareket edebilmesini sağladığını ve daha fazla sürümün planlandığını belirtti.
Bu küçük ekibin büyüklüğüne göre iyi finanse edilmiş olması da yardımcı oldu. Morin, Snapchat'in 2017'de dokuz haneli bir rakama satın aldığı Zenly'de başkan yardımcısı olarak görev yapmıştı. Bu deneyimi sayesinde Harry Stebbings'in 20VC'si, >commit, AALVC, Drysdale Ventures, Xavier Niel'in Kima Ventures'ı, Kindred Capital, LocalGlobe ve Puzzle Ventures gibi yatırım firmalarından 20 milyon dolar topladı.
ZML'nin 2024'te yayınlanan ve Mart ayında güncellenen ilk halka açık projesi olan inference odaklı ML framework'ünün aksine, ZML/LLMD açık kaynak değil. Ancak kullanımı öğrenmek amacıyla ücretsiz bir ürün olarak piyasaya sürülüyor. Morin, "Ölçmeyi ve ardından en etkili olduğu yerde gelir elde etmeyi tercih ederim, baştan çok açgözlü olduğum için büyümemi aptalca engellemem" dedi.
ZML/LLMD'nin ne zaman ücretli bir ürün haline geleceğini ve benimsenme oranının ne olacağını söylemek için henüz erken. Ancak girişimin yatırımcı tablosu, diğer kurucuların da ilgisini çektiğini gösteriyor: Dagger ve Docker kurucusu Solomon Hykes, Hugging Face'ten Clément Delangue ve Julien Chaumond ve şimdi AMI Labs'ta olan LeCun. Bu aynı zamanda Avrupa'nın yapay zeka girişimlerinin artık kendi ülkelerinden büyüyebileceği tezini de güçlendiriyor. Morin, "ZML'yi Paris dışında hiçbir yerde yapamazdım" dedi.
