Naukowcy z arXiv zaproponowali nowatorskie podejście do problemu, w którym modele vision-language szkolone na miliardach parametrów nadal gorzej łączą słowa z wizualnymi obszarami niż małe dzieci uczące się z około 100 milionów słów wejściowych. Serce problemu leży w strukturze samych obiektywów treningowych - standardowy cel next-token captioning nie ma żadnej zmiennej reprezentującej koncepcję "to słowo odnosi się do tego regionu", co oznacza, że trening nie stosuje bezpośredniego nacisku na gruntowanie słów w obrazach.
Rozwiązanie nosi nazwę GAVAGAI i traktuje każdą scenę jako problem przypisania pomiędzy słowami a regionami, rozwiązywany za pomocą entropicznego transportu optymalnego z dwoma kluczowymi ograniczeniami. Po pierwsze, każde słowo może być przypisane do specjalnej kolumny NICZEGO zamiast do jakiegokolwiek regionu - to istotne, bo większość słów treściowych w mowie opiekunów w rzeczywistości nic nie nazywa na widocznym obrazie. Po drugie, żaden region nie może otrzymać więcej niż ograniczonej części masy przypisania, co koduje wzajemną wykluczalność i zapobiega przypisywaniu tego samego obiektu do wielu słów.
W eksperymentach kontrolowanych na symulacjach naiwna wersja pomysłu - zwykły softmax wiersz-po-wierszu zmuszający każde słowo na jakiś region - zawalił się do dokładności 0.000 w warunkach realistycznych z wysokim udziałem słów bez odniesienia, poniżej 0.058 samego captioningu. Metoda GAVAGAI osiągnęła 0.075 w tym scenariuszu i imponujące 0.700 na czystych danych. Wersja jedneparametrowa modelu odtworzyła dokładność uczenia się przez dzieci w uczeniu się cross-sytuacyjnym w trzech warunkach niejednoznaczności.