Naukowcy wprowadzili PoolBench, pierwszy benchmark specjalnie poświęcony strategiom poolingu w modelach decoder-only. Problem polegał na tym, że podczas konwertowania stanów ukrytych na poziomie tokenu do wektora na poziomie całego tekstu praktykujący mieli wiele opcji, ale brak wspólnego protokołu do ich porównania. To sprawiało, że raporty o poprawach były mylące, bo jednocześnie zmieniały się zbiór danych, warstwa, metoda konstrukcji i reguła poolingu.
Benchmark obejmuje 17 konceptów i 19 strategii poolingu testowanych na trzech modelach otwartego kodu: Llama-3.1-8B, Gemma-2-9B i Mistral-7B. Ewaluacja przeprowadzona została na pojedynczym audytowanym korpusie zawierającym 37,693 rzeczywistych tekstów. Główna metryka to liniowa separowalność mierzona przez D1/AUROC, a diagnostyczne metryki dodatkowe to D2/SCP (sterowana przeważność konceptu) i D3 (disentanglement na poziomie wyjścia). Wyniki były zdecydowane: metoda W4_hierarchical uzyskała średnią AUROC 0,7799 na wszystkich modelach, podczas gdy powszechnie używany baseline P1_last_token osiągnął tylko 0,7640 i okazał się statystycznie istotnie gorszy (test Friedmana-Nemenyi'ego z p = 2,0e-36, przy 77 parach statystycznie istotnych spośród 18 efektywnych strategii). Ranking strategii pozostawał stabilny w różnych warstwach modelu.
Jednym z ważnych negatywnych rezultatów było odkrycie, że silne wykrywanie konceptu nie implikuje silnego sterowania - metryki D2 i D3 były znacznie słabsze niż D1 dla większości konceptów, wskazując na fundamentalny limit w możliwościach reprezentacji a nie problem samych strategii poolingu.