Naukowcy z arXiv zaproponowali SDO - nową metodę organizacji danych, która dynamicznie dostosowuje skład mini-batchy podczas treningu dużych modeli językowych. Różni się od istniejących podejść tym, że nie traktuje organizacji danych jako statycznego kroku preprocessing, ale zmienia ją epokę po epoce na podstawie tego, jak próbki wpływają na trening.
SDO wykorzystuje dwa kluczowe mechanizmy. Po pierwsze, lokalność-świadoma grupacja tworzy spójne mini-batchy poprzez przechodzenie przez sąsiedztwo KNN w przestrzeni reprezentacji - to powoduje, że podobne próbki trenują razem, generując bardziej spójne gradienty. Po drugie, zbalansowana ekspozycja śledzi, ile razy każda próbka uczestniczyła w treninglu i zmniejsza prawdopodobieństwo samplingowania próbek, które już były przetwarzane wiele razy. To podejście unika "warm-up" modelu i pracuje na zamrożonych zewnętrznych embeddingach.
Metoda przynosi znaczące przyspieszenie zbieżności podczas treningu SFT, DPO i GRPO, szczególnie w fazie początkowej i pośredniej. Zamiast tego, aby wszystkie próbki otrzymywały podobną ekspozycję niezależnie od ich potrzeb optymalizacyjnych, SDO zapewnia, że próbki niedooptymalizowane dostają więcej uwagi, podczas gdy które już dobrze nauczyły się parametry modelu nie otrzymują redundantnych aktualizacji. Wynik to bardziej zrównoważona dokładność między różnymi typami pytań bez trwałego wykluczania próbek treningowych.