Zespół badawczy stworzył system tłumaczenia napisów pracujący bezpośrednio na urządzeniu użytkownika, eliminując konieczność wysyłania danych do chmury. Bazując na modelu LMT-60-0.6B, całość zoptymalizowano pod kątem niskiego opóźnienia, małych wejść i wyjść oraz ochrony prywatności użytkownika. W procesie odkryto, że po zastosowaniu kwantyzacji GGUF, projekcja słownika staje się bardziej zasobochłonną operacją niż bloki Transformer.
Kluczowym rozwiązaniem było zmniejszenie słownika z 151 tys. do zaledwie 64 tys. tokenów specjalizowanych dla domeny napisów filmowych. Zespół przeprowadził kalibrację przestrzeni embedding oraz pełne fine-tuning nadzorowane na danych z OpenSubtitles2024. System LocalSubs uzyskał 59,2-procentowy wskaźnik wygranych przeciwko Google Translate w парных ocenach autorstwa GPT-4o, przy czym najlepiej radził sobie z krótszymi dialogami. Wstępne pomiary na procesorze Apple M2 pokazały przyspieszenie 1,63 raza przy użyciu modelu z 64k słownika.
Ważność tej pracy leży w praktycznym podejściu do tłumaczenia w czasie rzeczywistym na urządzeniach mobilnych. Tradycyjne optymalizacje dla długiego kontekstu czy wysokiej przepustowości serwera okazały się nieistotne w tym scenariuszu. Rozwiązanie ma potencjał dla użytkowników chcących tłumaczyć napisy bez dostępu do internetu ani dzielenia się danymi z zewnętrznymi usługami.