AllenAI Open Instruct Tulu 3 - post-training z SFT, DPO, RLVR i GRPO

AllenAI zaprezentował kompleksowy tutorial dotyczący budowania end-to-end pipeline'u post-trainingu dla instrukcyjnie dostrojonych modeli językowych za pomocą frameworku Open Instruct. Procedura przechodzi przez trzy kluczowe etapy: Supervised Fine-Tuning, Direct Preference Optimization i Reinforcement Learning with Verifiable Rewards wykorzystujący GRPO, przy czym całość została zoptymalizowana do działania na urządzeniach z 16 GB pamięci RAM.

Oryginalny stack Tulu 3 wykorzystywał rozproszone komponenty takie jak vLLM, Ray actors, DeepSpeed i asynchroniczne kolejki rolloutów - wszystkie wymagające znacznych zasobów obliczeniowych. Tutorial pokazuje, jak zastąpić te komponenty lżejszymi implementacjami opierającymi się na bibliotekach Hugging Face i PyTorch, zachowując jednocześnie logikę optymalizacji z Open Instruct. Proces obejmuje konfigurację LoRA adapterów, przygotowanie danych z zestawu GSM8K dla każdego etapu treningu oraz wykorzystanie deterministycznych weryfikatorów do oceny matematycznych odpowiedzi generowanych przez model.

To rozwiązanie ma znaczące implikacje dla demokratyzacji zaawansowanego treningu LLM-ów. Wcześniej post-training wymagał specjalistycznego sprzętu i infrastruktury, teraz naukowcy i praktycy mogą eksperymentować z zaawansowanymi technikami optymalizacji na darmowych platformach takich jak Google Colab, co otwiera nowe możliwości dla badań i rozwoju w obszarze dostrajania modeli językowych.