Google, sekizinci nesil TPU ailesine iki özel sistem eklediğini duyurdu.
TPU 8tx, yapay zekâ işlemleri sırasında hassas verilerin korunmasını hedefliyor.
Çift çipli TPU 8i Max, talepkar yapay zekâ ajanları için bellek bant genişliğini ikiye katlıyor.
Google pazartesi günü Nvidia'ya meydan okuyan, gizlilik ve bellek yoğun yapay zekâ için tasarlanmış iki yapay zekâ hesaplama sistemi tanıttı.
TPU 8tx ve TPU 8i Max, Google'ın sekizinci nesil Tensor Processing Unit serisine katıldı ve işletmelere yapay zekâ modellerini eğitmek ve çalıştırmak için dört yapılandırma sundu. Google, yapay zekâ laboratuvarlarından üniversitelere kadar yaklaşık 100 TPU müşterisine hizmet verdiğini söylüyor.
Nvidia'nın yaygın olarak kullandığı grafik işlem birimlerinin aksine TPU'lar özel olarak yapay zekâ için üretilmiş hızlandırıcılar. Google bunları kendi hizmetleri için geliştirdi ancak giderek dış şirketlere, yerinde müşteriler dahil erişim satıyor.
Google'ın açıklamasında şirketin baş teknoloji uzmanı ve yapay zekâ ile altyapıdan sorumlu kıdemli başkan yardımcısı Amin Vahdat, "Hesaplama insan ölçeğinden ajan ölçeğine geçerken, işletmeler yapay zekâ modellerinin devasa bağlam pencereleri arasında akıl yürütebilen hızlandırıcılar istiyor" diye yazdı.
Hassas bilgilerin gizli tutulması
TPU 8tx, birçok ciddi şirketin yapay zekâyı benimsemede karşılaştığı bir sorunu hedefliyor: model kullanırken hassas bilgilerin korunması.
Veri depolamada ve iletim sırasında şifrelenir ancak işlem genellikle bellekte şifresinin çözülmesini gerektirir. Google, yapılandırmanın donanım seviyesinde gizli hesaplama kullandığını ve müşteri verilerini ile özel model parametrelerini çalışırken bile izole ettiğini söylüyor.
Sistem, TPU 8t silikonunu beşinci nesil AMD EPYC işlemciler ve Google'ın düşük gecikmeli Boardfly ağı ile birleştiriyor. Google, TPU 8t'ye kıyasla gecikmeyi yarıya kadar indirebildiğini, ek koruma için neredeyse hiç performans kaybı olmadan iddia ediyor.
Diğer bir deyişle, gizlilik gerektiren görevler hız veya doğruluktan ödün vermeyecek.
Şirketler hassas bilgileri kümeler arasında aktarmak yerine aynı sistem üzerinde modelleri ince ayarlayıp çalıştırabilecek. Bununla birlikte, gizli hesaplama kötü tasarlanmış bir yapay zekâ ajanının erişmesine izin verilen verileri kötü kullanmasını engelleyemez.
Yapay zekânın bellek darboğazını aşma
TPU 8i Max başka bir sınırlamayı ele alıyor: belleği. Veri, kod tabanları, belgeler veya saatlerce video gibi verileri analiz eden otonom ajanlar, geleneksel yapay zekâ görevlerinden çok daha fazla bilgiye hızlı erişim ihtiyacı duyuyor.
Google iki TPU 8i çipini tek bir pakette birleştiriyor, TPU 8i'ye kıyasla hesaplama gücünü, yonga içi SRAM'i ve yüksek bant genişliğine sahip bellek aktarımını ikiye katlıyor. Tasarım aynı raf alanına iki kat silikon sığdırıyor.
"Dördüncü sistemimiz TPU 8i Max, farklı bir sorun için üretildi: bellek duvarı" diye yazdı Vahdat.
Google, yapay zekâ çalışma belleğini çipler, sunucular ve depolama arasında taşıyan yazılım olan TPU Sync'i açık kaynak yapıyor. Sistemin belirli veri aktarım gecikmelerini ve yanıt başlatma sürelerini yüzde 90'dan fazla azaltabildiğini iddia ediyor.
Google'ın açıklaması, Nvidia'nın Wall Street'te artan baskı altında olduğu bir dönemde geldi. Hisseler perşembe günü yüzde 9,3 düştü ve pazartesi işlemlerinde bir başka yüzde 5 daha geriledi. Bu düşüş, CEO Jensen Huang'ın Çin için casusluk yapmakla suçlanan bir kadınla zina ilişkisini kabul etmesinin ardından yaşandı. Nvidia'nın yönetim kurulu bağımsız bir soruşturma başlattı, şirket ise kurumsal sırların tehlikeye atıldığına dair kanıt olmadığını söylüyor.
Tartışma, rakiplerin yapay zekâ çipi hakimiyetini hedeflemesiyle Nvidia'nın büyümesi hakkındaki endişeleri artırıyor. OpenAI'nin Nvidia'ya olan bağımlılığını azaltmak için Google'ın TPU'larını satın almayı planladığı iddia ediliyor. Bu henüz doğrulanmadı ancak Google'ın genişleyen çip ailesi, yapay zekâ geliştiricilerine daha fazla pazarlık gücü verebilir ve Nvidia'nın pazar payı ile gelecek büyüme beklentilerini tehdit edebilir.
Google uzmanlaşmış donanım ve yazılımda rekabet ediyor, sadece çip hızında değil. Açık kaynaklı TorchTPU projesi de geliştiricilerin uygulamalarını yeniden yazmadan PyTorch ve Hugging Face modellerini TPU'larda çalıştırmasına izin veriyor.
Yine de Google'ın performans rakamları yeni sistemleri Nvidia'nın en yeni ürünleriyle değil, daha önceki Google donanımlarıyla karşılaştırıyor. Şirket iki yeni yapılandırma için fiyat veya kullanılabilirlik tarihleri açıklamadı.
