Naukowcy opracowali nową metodę Riemannian Mean Pooling, która analizuje strukturę geometryczną embeddingów tokenów z perspektywy geometrii Riemanna zamiast tradycyjnej geometrii Euklidesowej. Podejście polega na ekstrakcji metryk pullback z Jakobianu nauczanego enkodera i agregacji ich za pomocą średniej Frécheta na symetrycznych dodatnio określonych rozmaitościach (SPD).
Metoda została przetestowana na trzech zbiorach danych: CoLA, CREAK i RTE, które zawierają niebanalną strukturę lingwistyczną. RMP wykazała lepszą wydajność niż tradycyjne pooling Euklidesowe, sugerując, że sygnały klasyfikacyjne rzeczywiście znajdują się w głębszej geometrycznej strukturze embeddings. Interesujące jest, że na benchmarku FEVER-Symmetric, który został celowo skonstruowany aby usunąć artefakty leksykalne związane z adnotacjami, metoda pozostała na poziomie przypadkowego guessingu.
Ablacyjne eksperymenty ujawniły, że największy wkład pochodzi z geometrycznej agregacji za pomocą średniej Frécheta, a nie wyłącznie z wytrenowanej struktury rozmaitości. Losowo zainicjalizowany enkoder w połączeniu z Frécheta agregacją już przewyższył pooling Euklidesowy na dwóch z trzech zbiorów danych. Wytrenowany enkoder wniósł dodatkowy sygnał szczególnie na CREAK, zbiorze danych wymagającym największej wiedzy domenowej.