Prompty uwzględniające zadanie i kontekst globalny w pre-treningu grafów

Naukowcy zaproponowali TPGC, nową metodę, która zmienia sposób inicjalizacji promptów w modelach pre-trenowanych na grafach. Problem polega na tym, że obecnie używane prompty są inicjalizowane losowo, co prowadzi do słabego dopasowania między przestrzenią promptów a charakterystyką strukturalną grafów i celami pre-treningu.

TPGC rozwiązuje to przez połączenie dwóch źródeł informacji. Task-Prior Injection Module przeprowadza krótki pre-trening wielozadaniowy na grafie pomocniczym, dzięki czemu inicjalizacja promptów odziedziczy optymalne preferencje z wielu zadań pre-treningu. Na tej podstawie Structure-Prior Injection Module ekstrahuje transferowalny globalny kontekst strukturalny, konwertując go na warstwy promptów przez agregację strukturalnie informacyjnych embedding-ów węzłów.

Wyniki testów na 6 głównych benchmarkach z zadaniami klasyfikacji węzłów i grafów pokazują, że TPGC konsekwentnie osiąga lepsze wyniki niż konkurencyjne rozwiązania w scenariuszach few-shot. Dodatkową zaletą jest mniejsza liczba parametrów do dostrojenia i niższe zużycie obliczeniowe. Kod jest publicznie dostępny na GitHubie.