Czy wyniki GraphLLM to rzeczywiście przełom czy tylko hype?

Badacze z arXiv przeprowadzili dogłębną analizę ostatnich prac nad metodami bazowanymi na LLM dla klasyfikacji węzłów w grafach atrybutowanych tekstem. Porównali te zaawansowane podejścia z prostymi baseline'ami uruchamianymi na identycznych zbiorach danych i odkryli, że różnice w dokładności są zaskakująco małe - Correct & Smooth na cechach TF-IDF zdobył wyniki tylko o 2,3 punktu procentowego gorsze niż najlepsze rezultaty LLM.

Analiza wykazała szereg problemów metodologicznych w istniejących pracach. Naukowcy znaleźli przypadki, gdy hiperparametry lub checkpointy były wybierane na zbiorze testowym zamiast walidacyjnym, a czasem nawet etykiety węzłów testowych były użyte podczas treningu. Odkryli też, że ta sama metoda na tym samym zbiorze danych raportuje wyniki różniące się o aż 12,5 punktu procentowego między różnymi pracami. Niektóre opublikowane kody zawierały błędy, takie jak niezgodność między tekstami a etykietami w załadowanym zbiorze Cora.

Chociaż na 24 zadaniach Correct & Smooth znalazł się w odległości 3 punktów od raportowanych wyników LLM na 15 z nich, na 12 z 22 testowanych zadań wyniki LLM były istotnie wyższe. To sugeruje, że niektóre donoszenia o postępach są rzeczywiście znaczące, ale wiele twierdzeń wymaga weryfikacji bardziej starannych metod oceny i pełnej dokumentacji eksperymentów.