Naukowcy przedstawili TEFM (Token-Efficient Faithful Modeling), framework mający rozwiązać dwa kluczowe problemy w stosowaniu dużych modeli języka do dziedzin krytycznych: efektywność tokenową i wierność wyników. System osiąga to poprzez kompresję długich obserwacji strukturalnych do zwartych tokenów Behavioral Code, dramatycznie redukując zużycie tokenów przy minimalnej utracie informacji.
Na sercu podejścia leży dual-fidelity objective - funkcja celu optymalizująca zarówno rekonstrukcję na poziomie kodu, jak i wierność na poziomie prognoz. To pozwala systemowi identyfikować minimalne wystarczające podzbiory cech, które są zakorzenione w faktycznych danych wejściowych. Innymi słowy, model nie tylko daje dokładne odpowiedzi, ale potrafi wyjaśnić, które elementy danych były rzeczywiście ważne dla decyzji.
Ze względu na znaczenie w domenach krytycznych - gdzie można zmarnować zasoby obliczeniowe i gdzie każda decyzja musi być uzasadniona - wyniki są obiecujące. Eksperymenty na modelach Qwen3, Gemma-2 i Phi-4 pokazują, że TEFM uzyskuje konkurencyjną dokładność klasyfikacji przy zaledwie 1 proc. zużycia tokenów w domenie klinicznej i 2 proc. w bezpieczeństwa, podczas gdy generuje wiarygodne uzasadnienia dla swoich decyzji. To otwiera drogę do bardziej praktycznych zastosowań LLM-ów w szpitalach, systemach bezpieczeństwa i innych obszarach wymagających zarówno efektywności, jak i przejrzystości.