AI endüstrisi boyunca, kullanıcılar AI dağıtımlarının ne kadar pahalı olabileceğinin daha fazla farkına varıyor ve maliyetleri azaltma konusunda yeni bir aciliyet hissediyor. Ancak açık kaynaklı modeller daha düşük maliyetler sunsa da, belirli bir iş için doğru modeli bulmak zor olabilir.
Perşembe günü, pazarlamacılar için AI araçları ve ajanlar sunan Writer, Palmyra X6 adlı yeni bir model lanç etti. Z.ai'nin açık kaynaklı modeli GLM-5.2'nin post-educational varyasyonu olarak geliştirilen bu sistem, Writer'a göre müşterilere daha düşük bir fiyata dağıtım hazır özellikleri sunmalıdır. Şirket, yeni modelin ve altyapı değişikliklerinin müşterilerin temel görevler için maliyetlerini yüzde 50'ye varan oranda azaltabileceğini tahmin ediyor.
Yeni modelle birlikte, şirket standart ajan harness'inde önemli güncellemeler de yayınladı. Her iki özellik de Perşembe gününden itibaren Writer müşterilerine açık olacaktır.
CEO May Habib, TechCrunch'a "Şirketlerin bir sonraki benchmark'i kovalamaktan bıktığını düşünüyorum" dedi. "Maliyetleri düşürmek istiyoruz ve kimsenin bunu sağlayamadığı görünüyor."
Yeni yaklaşım, özellikle karmaşık, çok adımlı görevlere odaklanıyor ve bunları daha hızlı ve daha az tokenle gerçekleştiriyor. Writer, harness optimizasyon'nun bunu gerçekleştirmek için kritik bir kaldıraç olduğunu görüyor.
Writer araştırmacılarının yakın zamanda yayınladığı bir makale, bu yaklaşımı destekleyerek, küçük değişikliklerin çeşitli modellerde test edilmesini sağlıyor. Araştırma, birçok durumda, model seçiminden daha güvenilir bir maliyet azaltma yolu olarak harness değişikliklerinin daha etkili olduğunu gösterdi ve test edilen modellerde ortalama yüzde 40'lık bir maliyet azalması sağladı.
Araştırmacılara göre, "Harness, bir organizasyonun çalıştırdığı tüm modellerin ve geleceğin verimliliğini çarpıklayan tek bileşendir."
Writer'ın müşterileri için deneyim, hala model-agnostik: Palmyra X6, diğer Writer modelleri veya Azure veya Amazon Bedrock aracılığıyla ithal edilen dış modellerle birlikte çalışacak. Ancak Habib, maliyetleri azaltma baskısının, büyük AI laboratuvarlarına karşı daha geniş bir güvensizliği de tetiklediğini görüyor.
"Müşteriler için maliyet patlaması without precedent ve CIO'ların laboratuvarlardan vazgeçmesi de aynı şekilde" dedi Habib, AI laboratuvarlarının "bir şirketin AI'den nasıl yararlanabileceğini derinlemesine anlamadığını" ekledi.
