Zespół badawczy zaprezentował kompleksowy przewodnik do fine-tuningu modeli LLM na zadaniu obsługi narzędzi, wykorzystując zestaw danych XYZ-Aquila-SFT i model Qwen3-0.6B. Tutorial obejmuje całą pipeline od ingestionu danych po ewaluację, wykorzystując biblioteki Hugging Face Transformers, PyTorch i PEFT.
Kluczowe kroki w procesie to parsowanie wieloturowych trajektorii tool-use, ekstrakcja strukturalnych tool-call'ów z zachowaniem osadzonych wzorców reasoning i observation, oraz konwersja schematów narzędzi między formatami message-embedded i structured. Autorzy przygotowują niestandardowy PyTorch dataset z custom collatorem, następnie Fine-tunują Qwen3-0.6B przy użyciu LoRA na maksymalnie 30 krokach z learning rate 1e-4 i gradient accumulation wynoszącym 8. Szczególnie ważne jest renderowanie Qwen-compatible ChatML z assistant-only loss masking, co pozwala modelowi skutecznie uczyć się właściwych responseów.
Tutorial zawiera również praktyczne elementy ewaluacji - porównanie predykcji tool-call'ów przed i po treningu oraz eksport transformowanego datasetu z statystykami corpus. To podejście jest istotne dla zespołów pracujących nad agentami AI, ponieważ tool-calling jest fundamentalnym mechanizmem pozwalającym dużym modelom na interakcję z zewnętrznymi systemami. Publikacja stanowi referencję dla praktyków chcących optymalizować małe modele do specjalistycznych zadań wymagających precyzyjnych wywołań funkcji.