Czy modele językowe mogą wykorzystać swoją wiedzę do przewidywania zdarzeń?

Badacze dowodzą, że problem nie jest w braku dostępu LLM-ów do wiedzy światowej dla przewidywania zdarzeń, ale w projektowaniu interfejsu zadania. Naukowcy wprowadzili dwa kluczowe rozwiązania: gruntowanie każdego zdarzenia w naturalnym opisie tekstowym oraz oddzielenie semantyki zdarzeń od przestrzeni predykcji. To zapobiega błędom wynikającym z tego, że modele uczą się na podstawie asocjacji między labelami a atrybutami semantycznymi.

Aby zweryfikować podejście, zespół stworzył benchmark DescribeEvent obejmujący około 150 tysięcy zdarzeń z siedmiu zbiorów danych i sześciu domen, każde z opisem na poziomie zdarzenia. Eksperymenty wykazały, że zdolne LLM-y znacząco korzystają z opisów i etykiet symbolicznych, nie tylko przewyższając warianty bez opisów, ale także tradycyjne modele specjalizowane. Słabsze modele osiągały natomiast minimalne poprawy.

Wyniki sugerują przełom w sposobie myślenia o wykorzystaniu LLM-ów do prognozy zdarzeń. Zamiast szukać nowych architektur czy algorytmów, wystarczy lepiej sformułować problem. Opisy zdarzeń okazały się praktycznym sposobem na wyrażenie wiedzy, którą modele już kodują - jest to raczej kwestia tego, jak pytamy, niż tego, co model wie. Odkrycie to ma implikacje dla szerszego wachlarza zadań wykorzystujących temporalne rozumowanie.