Naukowcy z arXiv opublikowali FusionEval - kompleksowy benchmark do testowania fuzji modeli języków, czyli procesu integracji zdolności wielu specjalistycznych modeli w jedną sieć. Zaproponowane rozwiązanie wypełnia lukę istniejących ocen, które słabo obejmują rozumowanie z długimi łańcuchami myśli oraz pracę z narzędziami, a jednocześnie mogą ukrywać znaczące straty w możliwościach poszczególnych ekspertów.
Benchmark zawiera kontrolowane pule ekspertów niezależnie wytrenowanych na bazie modeli Qwen3 i Llama, specjalizujących się w pięciu obszarach: matematyce, kodowaniu, nauce, przestrzeganiu instrukcji i użytkowaniu narzędzi. Suite oceniająca testuje osiem publicznych benchmarków, mierząc zachowanie możliwości, koszty obliczeniowe, czas działania i zużycie pamięci GPU. Wyniki pokazują polaryzację podejść - metody bez dodatkowego treningu dobrze działają przy zadaniach wymagających rozumowania, ale drastycznie pogorszają pracę z zewnętrznymi narzędziami na obu skalach modelu.
Drugim biegun zajmuje metoda MOPD, która lepiej równoważy wszystkie zdolności i lepiej zachowuje możliwość użytkowania narzędzi, lecz wymaga dodatkowego przygotowania danych, inferencji i treningu. Naukowcy podkreślają, że równoczesne zachowanie rozumowania, przestrzegania instrukcji i pracy z narzędziami przy niskich kosztach obliczeniowych pozostaje nierozwiązanym wyzwaniem dla badaczy. Kod benchmarku został opublikowany na GitHubie.