Anthropic’in Claude Fable 5’i, Google’ın yenilenen Android Bench’inde zirveye yerleşti

Google Alphabet Inc. ↘ 0.38%, Salı günü yapay zeka modellerinin gerçek dünya Android geliştirme görevlerini ne kadar iyi yerine getirdiğini değerlendiren liderlik tablosu Android Bench için büyük bir güncelleme yayınladı. Yenileme, sıralamalara sekiz yeni model ekliyor – %84,5 doğruluk puanıyla zirveye yerleşen Anthropic'in Claude Fable 5'i başı çekiyor – ve kıyaslamanın temel çerçevesini Harbor adlı yeni bir sisteme taşıyor.developer.android+1

Yeni Bir Liderlik Tablosu Şekilleniyor

8 Temmuz'da yayınlanan güncellenmiş liderlik tablosunda Claude Fable 5 birinci sırada yer alırken, onu %80,2 ile OpenAI'ın GPT 5.5'i ve %76,2 ile Claude Sonnet 5 izliyor. Google'ın kendi Gemini 3.1 Pro Preview modeli %73,7 ile beşinci sırada yer alarak GPT 5.4'ün de gerisinde kaldı. Yeni eklenen diğer modeller arasında Qwen 3.7 Max, Qwen 3.7 Plus, GLM 5.2, Kimi K2.7 Code ve MiniMax M3 bulunuyor.developer.android

Sonuçlar, Mayıs ayında ilk kez fark edilen bir modeli sürdürüyor; o dönemde GPT 5.5 liderlik tablosunun zirvesindeydi ve Gemini, OpenAI modellerinin yaklaşık iki yüzde puan gerisindeydi. Fable 5'in de dahil olmasıyla zirvedeki fark daha da açıldı. Anthropic tarafından Haziran ayında piyasaya sürülen model, SWE-Bench Pro'daki %80,3'lük skor dahil olmak üzere birden fazla kodlama kıyaslamasında lider puanlar elde etti.atlascloud+2

Metodoloji Değişiklikleri ve Açık Katkılar

Google, modellere ek olarak Android Bench çerçevesini, daha zorlu ve gerçek dünya yapay zeka mantık testlerine olanak tanıdığını belirttiği Harbor'a taşıdı. Kıyaslama, modelleri her biri 10 kez çalıştırılan 100 test senaryosu üzerinden değerlendiriyor ve sadece doğruluğu değil, aynı zamanda gecikme süresini ve çalıştırma başına maliyeti de ölçüyor; bu boyutlar Google tarafından ilk kez Mayıs ayında tanıtılmıştı.x+2

Google ayrıca geliştiricilerin artık kıyaslamaya doğrudan katkıda bulunabileceğini belirtti; bu değişiklik, modelleri test etmek için kullanılan Android'e özgü kodlama zorluklarının yelpazesini genişletebilir. Claude Opus 4.6, Claude Sonnet 4.5 ve daha eski GPT varyantları dahil olmak üzere birçok eski model güncelleme ile arşivlendi.developer.android+1

Sıralamalar Neyi Ortaya Koyuyor

Yeni liderlik tablosundaki maliyet ve hız verileri, saf doğruluk oranlarının ötesinde pratik bir bakış açısı sunuyor. Örneğin Deepseek V4 Flash, %54,7'lik mütevazı bir puan alıyor ancak kıyaslama çalıştırması başına sadece 1,50 dolara mal oluyor; Claude Fable 5'in en yüksek puanı ise çalıştırma başına 133,20 dolara geliyor. Bu ödünleşimler, yapay zeka destekli kodlama araçları günlük iş akışlarına entegre oldukça ve Google'ın kendi modelleri, bizzat Google tarafından oluşturulan kıyaslamada Anthropic ve OpenAI'dan gelen rakiplerini kovalamaya devam ettikçe Android geliştiricilerinin karşılaştığı seçimleri vurguluyor.developer.android