Zespół naukowców opracował TAKE (Trajectory-Aware Knowledge Estimation), metodę kompresji zbiorów danych tekstowych, która redukuje ich rozmiar do zaledwie 0,1% (lub 20 próbek na klasę) przy zachowaniu wydajności na zadaniach downstream takich jak klasyfikacja tekstu i natural language inference.
Sercem algorytmu są funkcje wpływu - matematyczne narzędzia mierzące wkład każdej próbki w końcową wydajność modelu. TAKE rozwija tę ideę, śledząc zmianę wpływu każdej próbki podczas całego procesu treningu (trajectory). Powstała ocena dla każdej próbki kieruje następnie wyborem prototypów - reprezentatywnych próbek ze sztucznego zbioru kandydatów - przy użyciu dyskretnego transportu optymalnego.
To ma szerokie implikacje dla praktyki uczenia maszynowego. Zmniejszenie rozmiarów zbiorów danych z milionów próbek do tysięcy drastycznie obniża koszty przechowywania, treningu i iteracyjnego fine-tuningu modeli. Poza pragmatyczną wartością, podejście jest teoretycznie ugruntowane w teorii funkcji wpływu i optymalizacji, co sugeruje, że może generalizować się na inne typy danych i zadania. Kod został udostępniony publicznie, umożliwiając dalsze badania nad data-centric AI.