Google rozszerzył Android Bench o osiem nowych modeli do testowania, co czyni benchmark bardziej kompleksowym dla oceny wydajności dużych modeli językowych w tworzeniu aplikacji Androidowych. Nowe modele obejmują najnowsze hity z branży - Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus oraz Qwen 3.7 Max. Benchmark zawiera zestaw 100 zadań deweloperskich i ma na celu wykazanie, które agenty AI działają najlepiej w różnych scenariuszach Android-development.
Google wprowadził również istotne udoskonalenia struktury benchmarku, dodając metryki związane z kosztami i eficiencją operacyjną. Platforma teraz wspiera również modele open-weight, co daje deweloperom szerszą perspektywę na dostępne narzędzia. Od marca, kiedy uruchomiono Android Bench, stało się jasne, że choć LLM-y są popularnymi narzędziami do kodowania, nie zawsze generują bezbłędne rozwiązania - stąd potrzeba oddzielania rzeczywiście użytecznych wyników od tego, co autorzy zwą slop.
Google zapraszył deweloperów do samodzielnego testowania modeli i przesyłania opinii zwrotnych, które mogą kształtować przyszłą ewolucję Android Bench. To podejście community-driven ma zapewniać, że benchmark pozostanie relewantny dla praktycznych potrzeb twórców aplikacji. Mimo że Gemini jest modelem Google-a, jego pozycja na liście benchmarku wskazuje, że wciąż ma pole do poprawy w porównaniu z konkurencyjnymi rozwiązaniami dostępnymi na leaderboardzie.