OpenAI, Salı günü yayımladığı bir blog yazısıyla Hot Chips konferansında tanıttığı Jalapeño çipi hakkında daha ayrıntılı bilgi paylaştı. İlk olarak haziran ayında duyurulan ve Broadcom işbirliğiyle geliştirilen Jalapeño, eğitilmiş bir yapay zeka modelini çalıştırarak görevleri tamamlamak veya bir ajanı dağıtmak süreci olan çıkarım (inference) için tasarlanmış bir ASIC (Uygulamaya Özel Tümleşik Devre) olarak öne çıkıyor.
Semianalysis'in InferenceX benchmark platformunda test edilen çip, Nvidia'nın GB200 ve GB300 süper çipleriyle karşılaştırıldı. Test sonuçları, Jalapeño'nün GPT-OSS 120B, DeepSeek R1 ve Kimi K2.5 1T modellerinde, karşılaştırılan sistemlere göre watt başına 1,5 ila 1,9 kat daha fazla yapay zeka işi gerçekleştirdiğini ve uçtan uca gecikme süresini 1,7 ila 3,6 kat düşürdüğünü gösterdi.
OpenAI'nin donanım başkan yardımcısı Richard Ho, "Sonuçlar, mevcut en iyi sistemlere göre çok önemli bir performans avantajı gösteriyor. Jalapeño, daha fazla AI işini daha az enerjiyle gerçekleştirebiliyor ve aynı zamanda daha hızlı yanıtlar veriyor" dedi. Ho, yapay zeka sistemlerinin genellikle gecikme süresi ve verim arasında bir seçim yapmak zorunda kaldığını belirterek, "Jalapeño, daha düşük gecikme süresi ve daha yüksek verimlilikle her iki dünyanın en iyisini sunuyor. Bu, kullanıcılara daha hızlı yanıtlar, daha duyarlı ajanlar ve talep arttıkça daha güvenilir erişim sağlıyor" ifadelerini kullandı.
OpenAI, full-stack yaklaşımı sayesinde çıkarım işleminde sürtüşme oluşturan belirli aşamaları ele aldı. Şirketten yapılan açıklamada, "Jalapeño'yu veri hareketini ve iletişim gecikmelerini en aza indirmek için tasarladık" denildi. Bu sayede model durumunun ve bir yanıt oluştururken kullanılan KV önbelleğinin açıkça yerleştirilebildiği, ön doldurma ve iletişim aşamalarındaki gecikmelerin en aza indirildiği belirtildi.
Jalapeño'nün bu yılın sonunda çok küçük miktarlarda dağıtılacağını ve 2027'de hacmin kademeli olarak artırılacağını açıklayan Ho, çipin OpenAI'nin tüm çip portföyünün yerini almasının beklenmediğini de sözlerine ekledi. Nvidia gibi çok iyi ortaklarla çalışmaya devam edeceklerini belirten Ho, Jalapeño'yü çoklu nesil bir platform haline getirerek ikinci ve üçüncü nesil çipleri geliştirmeyi planladıklarını kaydetti.
