Cztery otwarte projekty obecnie dominują krajobrazie fine-tuningu LLM-ów. Unsloth, Axolotl, TRL i LLaMA-Factory budują na tej samej podstawie PyTorch i Hugging Face, ale wybrały zupełnie różne ścieżki optymalizacji. To porównanie analizuje trzy rzeczy, które inżynierowie rzeczywiście muszą rozwiązać: przepustowość treningu, szczytowe użycie VRAM oraz skalowanie na wielu kartach graficznych.
Unsloth dostarcza największe zyski wydajności na pojedynczym GPU poprzez przepisanie kerneli. Zamiast polegać na automatycznym differentkowaniu, backpropagation jest ręcznie wyprowadzany w Tritonie - bez utraty dokładności w stosunku do standardowego QLoRA. TRL to warstwa referencyjnego implementowania, dostarczająca SFTTrainer, DPOTrainer, GRPOTrainer i inne komponenty, na których budują się inne frameworki. Axolotl natomiast to wrapper napędzany YAML-em, który łączy Transformers, PEFT, TRL, Accelerate i DeepSpeed - jego siłą jest możliwość komponowania różnych strategii paralelizmu, a nie sama optymalizacja kerneli. LLaMA-Factory to papier demonstracyjny z ACL 2024 wyposażony w webowy interfejs Gradio, wspierający ponad 100 modeli i VLM-ów.
W praktyce Unsloth osiąga około 2-krotne przyspieszenie treningu dla Llama 3.1 8B w scenariuszach na jednym GPU. Każdy framework ma inne mocne strony - wybór zależy od tego, czy priorytetem jest surowa prędkość, elastyczność konfiguracji, szeroki katalog modeli czy najniższe użycie pamięci. Dla zespołów chcących szybko zmienić istniejące modele bez kodowania TRL oferuje solidne API, podczas gdy Axolotl sprawdza się w złożonych setupach wielogpu z zaawansowanymi strategiami paralelizmu.