OpenAI, Decisions API modelini ilk kez kullanıcıların geniş kullanımına sundu. Bu hamleyle şirket, hızlı ve ucuz zekâ pazarına girdi; bu pazar yakın zamanda eski bir öncü laboratuvar araştırmacısı tarafından kurulan girişim TypeSafe’i 7,6 milyar dolarlık bir şirkete dönüştürmüştü.
TypeSafe’in Jev modeli, süper sınıflandırıcı gibi davranan derin öğrenme modelleri için bir kategori yarattı. Belirli bir seçenek kümesi verildiğinde bu modeller hızlıca seçim yapabiliyor ve kararlarına dair güven derecesi sunabiliyor. Yazılım geliştiriciler, bu karar ya da Sistem Bir modellerinin çeşitli iş akışlarında büyük dil modellerinin yerini alabildiğini, daha hızlı çalıştığını ve çok daha düşük maliyetle işlediğini hızla keşfetti.
OpenAI’nin API’lerinden sorumlu ürün lideri Nikunj Handa, TechCrunch’a Jev’i gördüklerinde meslektaşlarının “vay, bunun için milyonlarca kullanım alanı var” dediğini anlattı. Handa’nın ekibi kendi versiyonunu hızla sunmak için seferber oldu. Özel olarak kalibre edilmiş bir karar modeli inşa etmek yerine ekip, ChatGPT Luna’yı alıp çıkarımı hızlandırmak ve maliyeti düşürmek için yeniden yapılandırdı.
“Decisions API ile asıl kilidi açan şey hız oldu; işler bir ila üç saniyeden 100, 120, 180 milisaniyeye indi” diyen Handa, “Gelecekte bu yönde modellerimizi daha da iyi hale getirmek için özel eğitim de yapabiliriz. Ama şu anda işi gören şey sadece sıradan Luna” ifadelerini kullandı.
Şirketin geliştirici gününde 29 Eylül’de duyurulan Decisions API, Perşembe günü tüm müşterilere açıldı. OpenAI, kamuya açık sürüme yeni ses ve görsel modlar ekledi ve altyapı kaynaklarını coğrafi olarak hedefleyerek dünyanın dört bir yanında daha düşük gecikme sağlamaya çalıştı.
Box, Datadog, Ramp ve Speak gibi müşterilerle yapılan ilk denemelerde mühendisler API’yi OpenAI’nin büyük dil modellerinin yerine daha yüksek aktarım hızıyla kullandı. Yapay zekâ dil öğretmenleri geliştiren Speak’in CTO’su Andrew Hsu, Decisions API sayesinde şirketin eylemler arası süreyi 1,4 saniyeden 0,13 saniyeye indirdiğini söyledi. OpenAI, ürünü kendi Dots ses asistanının duyarlılığını artırmak için de kullandı.
Yine de iyi bir karar modelinin neyi oluşturduğu, “size uyuyorsa” dışında net değil. Zekâ, maliyet, kalibrasyon ve hız arasındaki optimizasyonun iş yüküne göre değiştiği görülüyor. TypeSafe CEO’su Diogo Almeida kıyaslamalara güvenmiyor ve insanların modelleri kendi işlerinde denemesini öneriyor; ancak TypeSafe, son Jev modelinin piyasaya sürülmesiyle birlikte geçen hafta kendi sıralamalarını da yayınladı. Yeni modelde görseller için destek ve akıllı-if ifadeleri gibi özellikler bulunuyor.
AIM System One Index ve Artificial Analysis Decision Index gibi kamuya açık kıyaslamalar, Liquid’in geçen hafta yayınladığı yeni karar modeli D1 Ultra ve Base Lab’ın Elephant-1’ini öne çıkarıyor. En yeni Jev modeli her iki endekste de yedinci ve üçüncü sırada kalarak rekabetçi kalıyor; OpenAI’nin Karar Modeli ise sırasıyla sekizinci ve on dördüncü sırada yer alıyor. Bununla birlikte TypeSafe’in teklifleri şimdilik OpenRouter’da en çok sorgulananlar.
En eğlenceli Jev kıyaslaması ise karar modellerinin Pac-Man oynadığı JevMan. En yeni Jev modeli bu sıralamada zirvede. Kıyaslamayı oluşturan Opper AI’nin baş büyüme sorumlusu Felix Wunderlich, klasik oyunun “sürekli, hızlı ve yüksek riskli karar akışı nedeniyle ilginç bir test olduğunu” söyledi. “Her kavşakta modelin birkaç yüz milisaniye içinde nereye gideceğine karar vermesi gerekiyor.”
OpenAI’nin tartışmasız daha yetenekli modeli çok modlulukta avantaj sağlayabilir. Görüntü sınıflandırması için Handa, TechCrunch’a “Luna son derece güçlü ve daha iyi kalibrasyonlar gösteriyor” dedi ve OpenAI müşterilerinin Decisions API’nin görselleri çıktı olarak kullanma konusunda daha esnek olmasını istediğini ekledi.
Handa, hızdaki artışın yeni kullanım alanlarını da mümkün kılacağını gördü: “Bunu yaklaşık 60 milisaniyeye indirebilir miyiz, o zaman bir videodaki her kare için bir API çağrısı yapmayı hayal edebiliriz?”
Bu teklifler hızlandıkça ve ucuzladıkça, Jev’in adını taşıyan ve bir kaynağı daha verimli kullanmanın onu daha yaygın hale getirdiğini açıklayan ekonomistin öngörüsünü karşılamaları bekleniyor. Ya da Handa’nın ifadesiyle, karar modelleri onları ortaya çıkarıncaya kadar göz önünde duran genişleyen “çılgın bir kullanım alanı seti” olacak.
