Nowe badanie opublikowane na arXiv ujawnia znaczący problem: współczesne duże modele języka radykalnie zawodzą przy tłumaczeniu tekstu na alfabet Braille'a, mimo że są reklamowane jako wszechstronne i zdolne do generalizacji. Naukowcy testowali rozmaite najnowsze modele na zadaniu dwukierunkowego tłumaczenia między koreańskim a Braille'em, posługując się zbiorem danych z ręczną anotacją. Wyniki były zaskakująco słabe - modele generowały niestabilne, nieprecyzyjne wyniki, a ich odpowiedzi znacznie odbiegały od ocen ekspertów.
Problem leży głęboko w architekturze współczesnych LLM-ów. Badacze ustalili, że brakuje im Braille-aware tokenizacji oraz jest słaba koherentna mapa między wzorami koreańskiego a alfabetem Braille'a. To odkrycie jest kluczowe dla społeczności zajmującej się dostępnością cyfrową - pokazuje, że ogólne zdolności modeli transformacyjnych niekoniecznie przenoszą się na specjalne, strukturalnie ograniczone formaty używane przez osoby z niepełnosprawnościami. W kontraście naukowcy wytrenowali małe sieci T5-small na tych samych danych, używając tradycyjnego nadzorowanego fine-tuningu. Rezultaty były zaskakujące: ten miniaturowy model nie tylko przebił wszystkie testowane LLM-y, ale też wykazał stabilne, konsystentne wyniki na wielu metrikach ewaluacyjnych (SacreBLEU, ChrF++, CER, ROUGE-L).
Badanie ma praktyczne implikacje dla przyszłej budowy dostępnych systemów AI. Sugeruje, że zamiast polegać na skalowaniu ogólnych modeli i nadziei na spontaniczną zdolność do generalizacji, być może warto inwestować w zadanie-specyficzne modele z stosownym nadzorem. To szczególnie istotne w kontekście dostępności - grupy marginalizowane nie mogą czekać na to, aż wielkmiliardowe modele nauczą się respektować ich potrzeby przez przypadek.