Naukowcy z arXiv opublikowali badania nad nową metodą distillacji dla modeli wzroku-języka, skupiając się na problemie błędnego odczytywania diagramów matematycznych. Zamiast uczyć mniejsze modele naśladować pełne odpowiedzi większych modeli, proponują podejście minimize-edit on-policy distillation, które skupia się tylko na korygowaniu błędnych fragmentów odpowiedzi.
Kluczową innowacją jest minimalna edycja - nauczyciel ocenia nieprawidłowe odpowiedzi ucznia i wytrenowuje go tylko na korygowaniu konkretnych tokenów, które różnią się od prawidłowego rozwiązania. To podejście zachowuje on-policy supervision, czyli nadzór oparty na rzeczywistych akcjach modelu, unikając jednocześnie pełnego naśladownictwa. Prawidłowe odpowiedzi wzmacniane są poprzez reinforcement learning oparty na nagrodach za zadania. Podczas treningu system wykorzystuje referencyjne opisy figur i zweryfikowane rozwiązania, ale w fazach testowania model nie wymaga żadnych dodatkowych opisów.
Wyniki pokazują, że metoda znacznie poprawia wydajność mniejszych modeli na benchmarkach matematycznych i percepcyjnych, szczególnie w rozpoznawaniu geometrii. Co ważne, podejście działa nawet z zamrożonym nauczycielem tej samej wielkości, choć większe zyski osiąga się z większymi nauczycielami. To stanowi praktyczne rozwiązanie dla wdrażania bardziej efektywnych modeli multimodalnych bez potrzeby dodatkowych annotacji podczas wnioskowania.