Badacze pokazali, że można wytrenować encoder migowy rozpoznający znaki bez konieczności kosztownego ręcznego etykietowania, opierając się na słabym nadzorze z nagrań wiadomości telewizyjnych sparowanych z transkryptami. Problem polega na tym, że tekst i miganie nie są idealnie wyrównane, a morphologia tureckiego komplikuje sprawę - ten sam znak może pojawić się w różnych formach odmienionych, a czasem forma pochodna powinna pozostać oddzielna od podstawowej.
Team przeprowadził eksperymenty na TSL-News, nowym tureckim korpusie transmisji wiadomości, porównując dwie strategie normalizacji tekstu na pseudo-glosy: tradycyjną lemmatyzację reguł morfologicznych oraz normalizację wspomaganą przez LLM ze stałym słownikiem. Encoder wytrenowany z pomocą LLM osiągnął znacznie lepsze wyniki - podniesienie metryki top-5 temporal localization mean IoU z 0,235 do 0,465, gdzie ponad 56 procent przykładów uzyskało dobre wyniki. Reprezentacje były następnie testowane na nowym TSL Spotting Benchmark zbudowanym z korpusu Słownika Języka Migowego.
To podejście jest ważne dla badań nad językami ze słabszymi zasobami, gdzie nie ma bogatych zbiorów danych ręcznie etykietowanych. Zamiast wydawać fortunę na lingwistyczne etykiety, badacze mogą wykorzystać istniejące pary video-tekst z mediów transmitowanych. Reusable encoder wytrenowany w ten sposób może działać jako punkt startowy dla różnych zadań identyfikacji znaków, a samo oprogramowanie normalizujące tekst może być adaptowalne dla innych morfologicznie bogatych języków.