Zespół Hy z Tencenta oficjalnie wydał model Hy3, architekturę opartą na Mixture-of-Experts z ogółem 295 miliardami parametrów, ale w praktyce aktywuje zaledwie 21 miliardów parametrów na każdy token. To podejście pozwala utrzymać niskie koszty obliczeniowe przy zachowaniu dużej pojemności modelu. Hy3 dostępny jest na licencji Apache 2.0, co oznacza otwarty dostęp do wag modelu. Model również oferuje wersję FP8 z niższym footprintem pamięciowym dla bardziej ekonomicznego wdrażania.
Architektura Hy3 łączy kilka kluczowych innowacji. Korzysta z 192 ekspertów i mechanizmu top-8 routingu, gdzie każdy token angażuje tylko 8 ekspertów. Model posiada warstwę Multi-Token Prediction, która przewiduje wiele tokenów jednocześnie i przyspiesza dekodowanie poprzez speculative decoding obsługiwane przez vLLM i SGLang. Całkowita pojemność to 80 warstw standardowych plus 1 warstwa MTP, z kontekstem wydłużonym do 256 tysięcy tokenów.
Wyniki benchmarków pokazują solidną wydajność w kodowaniu i matematyce. Na zadaniach kodowania Hy3 uzyskuje 78 punktów na SWE-Bench Verified, 57,9 na SWE-Bench Pro i 75,8 na SWE-Bench Multilingual. W testach rozumowania matematycznego osiąga 90,4 na GPQA Diamond i 72 punkty na USAMO 2026. Model jest zatem skierowany na zadania wymagające głębokich rozumowań, pracę z agentami oraz obsługę długocontextowych scenariuszy - kluczowych wyzwań dla nowoczesnych dużych modeli językowych.