Hugo Vergnes trenował model języka o wielkości 3.8 miliarda parametrów, a koszty treningu wyniosły zaledwie 998 dolarów przy osiągnięciu wyniku 0.384 na benchmarku CORE. To jeden z przykładów jak zmieniająca się infrastruktura i optymalizacje algorytmiczne pozwalają na efektywne trenowanie zaawansowanych modeli za ułamek tradycyjnych wydatków.
Tradycyjnie duże modele wymagały setek tysięcy dolarów na obliczenia GPU i miesięcy czasu treningu. Osiągnięcie porównywalnych wyników przy tak niskich kosztach sugeruje postęp w metodach kompresji, kwantyzacji i bardziej efektywnych architektur. Benchmark CORE mierzy zdolności modelu w wielu domenach i jest wyznacznikiem praktycznej użyteczności mniejszych LLM.
Ten wynik ma znaczenie dla całego ekosystemu AI, ponieważ pokazuje, że duże modele nie są już wyłącznie domeną wielkich korporacji z gigantycznymi budżetami. Niezależni badacze i mniejsze zespoły mogą teraz eksperymentować z treningiem i dostrajaniem modeli na skalę, która wcześniej byłaby im niedostępna. To może przyspieszyć innowacje w dziedzinie otwartych modeli i zdywersyfikować krajobraz sztucznej inteligencji.