Reflective Recovery: samouczący się sposób na naukę przez błędy

Naukowcy opracowali metodę Reflective Recovery, która uczy modele AI rozumowania poprzez uczenie się na błędach zamiast polegania wyłącznie na doskonałych rozwiązaniach. Zamiast odrzucać nieudane próby, metoda ekstrahuje początkowe segmenty z błędnych trajektorii rozumowania i wykorzystuje je jako dane treningowe. W ten sposób model uczy się rozpoznawać i korygować błędy na bieżąco, bez potrzeby zewnętrznych systemów oceniających czy modeli nagród.

Tradycyjne podejścia do fine-tuningu bazują na naśladowaniu doskonałych trajektorii rozumowania, ale napotykają tzw. Scaling Collapse - gdy zbiór problemów jest ograniczony, dodawanie kolejnych pozytywnych przykładów nie poprawia wydajności modelu. Tymczasem podczas rzeczywistego wnioskowania LLM nie gwarantuje poprawności każdego kroku pośredniego i łatwo popełnia błędy, które następnie się kumulują i utrudniają dotarcie do prawidłowego rozwiązania.

Wyniki testów są znaczące. Na modelu DeepSeek-R1-Distill-Qwen-7B dokładność wzrosła z 30 procent do 37,5 procent na benchmarku AIME 2025 oraz z 37,6 procent do 47,8 procent na Minerva. Podejście ma potencjał by fundamentalnie zmienić sposób trenowania modeli matematycznych i logicznych, szczególnie w kontekście ograniczonych zbiorów danych treningowych, które są standardem w zaawansowanym rozumowaniu.