ModTGCN to nowy model sieci neuronowej zaproponowany do klasyfikacji tekstów, który łączy optymalizację funkcji straty cross-entropy z dodatkowym celem opartym na modularności grafów. Innowacja polega na tym, że model świadomie promuje klasy-spójne społeczności dokumentów, zachowując jednocześnie dyskryminacyjne reprezentacje tekstu.
Traditycyjne modele klasyfikacji tekstów bazujące na grafach skoncentrowane są na agregacji z lokalnego sąsiedztwa i ignorują globalną strukturę społeczności, co może prowadzić do zatarcia granic między klasami oraz problemu over-smoothingu. ModTGCN rozwiązuje ten problem poprzez wprowadzenie terminu modularności liczanego na grafie podobieństwa dokument-dokument, który pochodzi z embedingów transformerowych (pretrenowanych lub fine-tuned). Aby poprawić skalowalność, zespół przeniósł heterogeniczny graf TextGCN na dwie niezależne komponenty - dokument-słowo i słowo-słowo - osiągając dramatyczne przyspieszenie treningu o 2-10 razy.
Eksperymenty prowadzone na pięciu benchmarkach wykazały konsekwentne polepszenia wydajności, przy czym największe wzrosty zaobserwowano na złożonych zbiorach danych o niskiej homofili, takich jak Ohsumed i 20NG. Prace badawcze obejmują również analizę różnych strategii konstruowania grafów, przewagi ważenia krawędzi z uwzględnieniem etykiet oraz wyboru nadzoru dla optymalizacji modularności.