Google, Android uygulama geliştirme odaklı yapay zeka modellerini karşılaştırdığı Android Bench liderlik tablosunu güncelledi. Güncellemeyle birlikte Google'ın kendi modeli Gemini, beşinci sıraya gerileyerek rakiplerinin gerisinde kaldı. Yeni testler ayrıca bazı modellerin yüksek işletim maliyetlerini de gözler önüne serdi.
Ancak Fable 5 ve GPT 5.5'in işletim maliyetleri de oldukça yüksek. Bu modeller, 100 soruluk ve 10 çalıştırmalık testte 130 doların üzerinde token tüketiyor. Gemini 3.1 Pro aynı testte o kadar yüksek puan alamasa da testi çalıştırmanın maliyeti yalnızca 87 dolar. Daha ucuz olması beklenen Gemini 3.5 Flash ise testi tamamlaması çok daha uzun sürdüğü için liderlik tablosunda en yüksek maliyete sahip: çalıştırma başına 165 dolar ve 28 saatlik çalışma süresi.
Google'ın modellerinin Android kodlama performansındaki bu açık, şirketin birçok projesini aracı tabanlı (agentic) geliştirmeye yönelttiği bir dönemde önemli bir sorun teşkil ediyor. Google'ın, Android geliştiricilerinin iş akışlarında kendi araçlarını kullanmasını tercih edeceği açık. Bu nedenle Google'ın, yapay zeka eğitimi için geliştiricilerden uygulama kaynak kodlarını satın almayı teklif ettiği bildiriliyor.
Topluluk İş Birliği
Android Bench'in zaman içinde gelişerek yeni iş akışlarını test etmesi planlanıyor. Google, geliştiricilerin kıyaslama testleri ve geliştirme görevlerini paylaşarak Android Bench'e katkıda bulunmasını umuyor. Bunu daha uygulanabilir kılmak için Google, Harbor framework'üne geçiyor. Şirkete göre bu test ortamı, geliştiricilerin Android Bench'i çalıştırmasını, değerlendirmesini ve sonuçları paylaşmasını kolaylaştırıyor.
Google, LLM performansı için yeni bir temel oluşturmak amacıyla önceki tüm testleri Harbor ile yeniden çalıştırdı. Bu nedenle, temeldeki testler henüz değişmemiş olsa da daha önce bildirilen puanlarda bazı kaymalar oldu. Geçmiş veriler bir arşivde çevrimiçi olarak kalmaya devam edecek.
Yeni ve daha kolay framework sayesinde geliştiriciler, kendi geliştirme görevlerini Android Bench'e karşı çalıştırabilir ve bunları resmi teste dahil edilmek üzere gönderebilir. Android Bench GitHub sayfası, yeni veri seti ve nasıl katkıda bulunulacağına dair talimatlarla güncellendi.
