Pazartesi günü Amazon Web Services, yapay zekâ girişimlerinin uygulamalarını Amazon’un yapay zekâ çipi Trainium’a kolayca taşımasını sağlayan TorchNeuron aracını duyurdu. Bu hamleyle Amazon, yapay zekâ uygulamaları için varsayılan donanım seçimi haline gelmesine yardımcı olan yazılım avantajına doğrudan meydan okuyor ve Nvidia’nın yapay zekâ donanım sağlayıcısı olarak yükselişini hedefliyor.
TorchNeuron, geliştiricilerin yapay zekâ modellerini oluşturmak, eğitmek ve çalıştırmak için kullandığı ücretsiz açık kaynak araç PyTorch ile çalışıyor. Amazon’a göre araç, PyTorch ile yazılmış yapay zekâ uygulamalarının tek satırlık yapılandırma değişikliğiyle Trainium üzerinde çalışmasını sağlıyor; kod yeniden yazmaya gerek yok.
Amazon, yapay zekâ uygulamalarının yaklaşık yüzde 85’inin PyTorch ile yazıldığını söylüyor. Facebook başlangıçta aracı geliştirdi, 2022’den bu yana ise açık kaynak projelerin bakımını üstlenen Linux Vakfı’na bağlı. Nvidia yıllardır CUDA yazılım altyapısını PyTorch ile yazılmış uygulamaların Nvidia GPU’ları ve diğer donanımlarında sorunsuz çalışmasını sağlayacak şekilde geliştirdi. Sonuçta Nvidia donanımı araç setine varsayılan olarak derinlemesine gömülü hale geldi.
TorchNeuron PyTorch’tan uyarlandı, bu yüzden PyTorch bilen geliştiriciler nasıl kullanılacağını zaten biliyor. Amazon ilk girişim değil. PyTorch kullanıcıları uygulamalarını basit bir yapılandırma değişikliğiyle AMD GPU’lara ya da Apple’ın çiplerine de taşıyabiliyor.
Amazon, Trainium’a geçişin sadece kolay olmadığını, aynı zamanda yapay zekâ girişimlerine Amazon’un tüm bulutuna erişim sağladığını savunuyor. AWS’e göre bu, Coreweave, Nebius ve Firmus gibi pek çok Nvidia donanımına bağlı neobulutları kullanan girişimlerden daha iyi bir seçenek.
AWS Annapurna Labs’ta Teknoloji Yazılımı Başkan Yardımcısı Colin Brace, TechCrunch’a e-posta yoluyla yaptığı açıklamada, “AWS üzerinde inşa ediyorsunuz. Tek amaçlı bir hesaplama sağlayıcısına bahis yapıp etrafında her şeyi sıfırdan kurmak zorunda kalmıyorsunuz” dedi. Brace devamında, “AWS’te altyapı prototipten üretime geçmek için zaten hazır, bu da bir kurucunun hızlı hareket etmesini ve ihtiyaç duyduğunda ölçeklenmesini sağlıyor” ifadelerini kullandı.
AWS, aynı çipin hem eğitimi hem de çıkarımı üstlenmesi ve girişimlerin ihtiyaç duyduğu bulut altyapısıyla sıkı entegrasyonunun, AWS’nin en ucuz jeton başına fiyatı sunmasa bile girişimlere para tasarrufu sağlayacağını söylüyor.
“Trainium’un değeri fiyat-performans ve hem eğitim hem de çıkarım için tek platform olması; bu da tam bir iş yükü genelinde ekonomiyi iyileştiriyor” diyen Brace, “Deepgram’a bakın; yerel PyTorch, destek ve Trainium kullanarak üretim kalitesinde doğrulukla dolar başına yüzde 70 daha fazla ses işliyor” dedi. Deepgram bir yapay zekâ ses uygulaması sağlayıcısı ve ElevenLabs’ın rakibi.
Ama Amazon, PyTorch uygulama geliştiricilerine bulutuna kolay geçiş seçeneği sunmakla yetinmiyor.
Amazon ayrıca PyTorch’un Nvidia’ya otomatik olarak merkezlenmesini engellemeye çalıştığını ve bunu yapmak için kodu ana PyTorch projesine katkıda bulunacağını söylüyor. Yeni aracın duyurulduğu blog yazısında şirket şunları yazdı:
“Amazon’un yaklaşımı kendi donanımının ötesine uzanıyor. Şirket, PyTorch topluluğuyla birlikte çalışarak çerçevenin belirli çiplere bağlayan kodu kaldırmak için PyTorch’un kendisine yukarı akış katkıları yapıyor. Amaç, sadece Trainium kullanıcıları için değil, tüm geliştirici topluluğu için PyTorch’u daha donanım bağımsız hale getirmek.”
Böyle bir taktik kuşkusuz Nvidia ile rekabet eden donanım ve bulut hizmetleri satanlar için iyi. PyTorch’un amacı ise yapay zekâ kodunu donanımda çalıştırmayla ilgili zahmetli güçlükleri gizlemek. Nvidia’yı bu kadar dışarı itmenin geliştiricilere Amazon’un vaat ettiği gibi daha fazla seçenek ve daha uygun maliyet sağlayıp sağlamayacağını, yoksa sadece daha fazla yapılandırma baş ağrısı yaratıp yaratmayacağını bekleyip görmek gerekiyor.
Her halükarda Amazon, PyTorch’u Nvidia’dan derinlemesine ayırmayı başarırsa bunun GPU devi için sadece çip rakipleriyle başa çıkmaktan çok daha büyük sonuçları olabilir. Brace’in dediği gibi: “Gerçek hikâye, geliştiricilerin gerçek bir seçeneğe sahip olmasını engelleyen kilitlenmeyi kaldırmak.”
