Zespół opracował end-to-end workflow treningowy nauczający model Gemmy-3 logicznego rozumowania w zadaniach matematycznych z GSM8K przy użyciu techniki GRPO z LoRA adapterami. Proces начинается od przygotowania środowiska, autentykacji z Hugging Face, załadowania modelu Gemmy-3 i konwersji przykładów GSM8K do formatu wymagającego zarówno strukturalnego rozumowania, jak i ostatecznej odpowiedzi numerycznej.
Kluczowym elementem jest zdefiniowanie funkcji nagród oceniających zarówno zgodność z formatem, jak i poprawność matematyczną. Model wzbogacono LoRA adapterami, które umożliwiają efektywny trening poprzez optymalizację jedynie wag adaptera zamiast całej sieci. Takie podejście znacząco zmniejsza wymagania obliczeniowe i umożliwia trening na jednokartowym akceleratorze.
Workflow wykorzystuje algorytm GRPO do poprawy polityki modelu na podstawie grup próbkowań generowanych przez sieć. Nauczanie poprzez reinforcement learning z custom reward functions pozwala na dostrojenie modelu do konkretnego zadania bez konieczności zbierania ogromnych zbiorów danych treningowych. Ta metoda ma praktyczne znaczenie dla organizacji chcących dostosować duże modele językowe do specjalistycznych zadań matematycznych bez ogromnych kosztów obliczeniowych.