Naukowcy opracowali nową metodę GEM, która polega na geometrycznym mieszaniu entropii w celu inteligentnego wyboru danych treningowych dla dużych modeli językowych. Zamiast trenować LLM-y na całych dostępnych zbiorach danych, technika ta identyfikuje i łączy próbki o optymalnych właściwościach informacyjnych, co pozwala osiągnąć lepsze wyniki przy mniejszych nakładach obliczeniowych. To potencjalnie przełomowe podejście może znacząco zmienić sposób, w jaki trenujemy współczesne modele sztucznej inteligencji.
Problem, który GEM rozwiązuje, jest praktycznie bardzo ważny - trenowanie dużych modeli pochłania ogromne zasoby, a nie wszystkie dane w zbiorze treningowym mają równą wartość. Wiele próbek może być redundantnych, zbyt prostych lub zbyt skomlikowanych dla efektywnego uczenia. Metoda GEM wykorzystuje geometryczne pojęcie entropii, aby znaleźć "słodki punkt" między różnorodnością a informacyjnością danych. Podejście to pozwala naukowcom précyzyjniej kurować zbiory treningowe, selekcjonując tylko najbardziej wartościowe próbki.
Praktyczne konsekwencje mogą być dalekosięże - szybsze trenowanie modeli, niższe koszty energii i zasobów obliczeniowych, a także potencjalnie wyższa jakość trenowanych modeli. W kontekście rosnących kosztów i ograniczeń energetycznych w branży AI, każda metoda zwiększająca efektywność treningu może mieć znaczący wpływ na to, które zespoły mogą się позволить rozwijać zaawansowane modele. Badania pokazują, że nawet znaczące zmniejszenie rozmiaru zestawu treningowego poprzez inteligentną selekcję nie musi prowadzić do spadku jakości modelu.