Thinking Machines Lab wypuściła Inkling, swój pierwszy model szkolony od zera z całkowicie otwartymi wagami dostępnymi do fine-tuningu. Model MoE (Mixture-of-Experts) zawiera 975 miliardów parametrów łącznie, z czego 41 miliardów aktywnych na token. Obsługuje kontekst do 1 miliona tokenów i jest multimodalny - akceptuje tekst, obrazy i audio jako wejście, choć generuje tylko tekstowe wyjście w formacie UTF-8.
Architektura Inkling to 66-warstwowy transformer decoder-only ze sparse'ową strukturą MoE. Każda warstwa MoE zawiera 256 specjalistów trasowanych plus 2 specjalistów wspólnych. Na każdy token aktywuje się sześciu specjalistów trasowanych oraz obaj wspólni specjaliści. System używa routera opartego na funkcji sigmoid z wbudowanym load-balancingiem bez dodatkowych strat, a pozycje koduje poprzez względne embeddingi zamiast RoPE, co laboratorium twierdzi, że lepiej ekstrapoluje na dłuższe sekwencje. Model został pretrenowany na 45 bilionach tokenów obejmujących tekst, obrazy, audio i wideo.
Laboratorium zaprezentowało również Inkling-Small - mniejszą wersję z 276 miliardami całkowitych parametrów i 12 miliardami aktywnymi, która na wielu benchmarkach dorównuje lub przewyższa większego wariantu. Kluczową różnicą Inkling jest nacisk na customizację i fine-tuning, dzięki czemu architektura została zaprojektowana z myślą o elastyczności. Wagi będą dostępne do fine-tuningu na platformie Tinker, co pozycjonuje ten model jako otwartą bazę dla naukowców i deweloperów chcących budować specjalizowane rozwiązania.