Naukowcy z arXiv CS.CL udowodnili, że interpretowalność nie musi być ceną za wydajność modeli językowych - można ją wbudować bezpośrednio w proces trenowania. Zamiast wyjaśniać opaque'owe modele post-factum, zespół uczynił interpretowalność ograniczeniem optymalizacyjnym równoparallelnie z głównym celem modelowania języka. Eksperymentu przeprowadzono na trzech rzędach wielkości zasobów obliczeniowych, zarówno dla modeli autoregresyjnych, jak i dyfuzyjnych.
Głównym osiągnięciem jest Steerling-8B - model dyfuzyjny z mechanizmem attention causal, który potrafi przypisać każdy wygenerowany token do konkretnych elementów wejścia, koncepcji zrozumiałych dla człowieka i danych treningowych. To umożliwia interwencję w pętli zamkniętej: zdiagnozowanie błędu poprzez analizę atrybutów, znalezienie podobnych danych treningowych i poprawę zachowania poprzez steering bez ponownego trenowania. Model pozostaje konkurencyjny wobec dostępnych alternatyw nauczonych na 2-16 razy większych zbiorach, sugerując nowy paradygmat skalowania gdzie interpretowalność wzmacnia się, a nie słabnie wraz z rozmiarem modelu.
To stanowi istotny zwrot w podejściu do wyjaśnialności AI. Tradycyjnie przyjmowano, że transparentne modele to kompromis pomiędzy wydajnością a zrozumiałością. Badanie sugeruje, że architektura treningu i cele optymalizacyjne mogą być zaprojektowane w taki sposób, że interpretacja staje się naturalnym efektem ubocznym procesu uczenia, a nie dodatkowym obciążeniem.