Modele językowe uczą się awersji do ryzyka poza rozkładem treningowym

Naukowcy z branży bezpieczeństwa AI opracowali nową metodę testowania, czy modele językowe mogą nauczyć się konserwatywnego podejścia do ryzyka w trakcie treningu i zachowywać tę postawę w ekstremealnych scenariuszach. Chodzi o to, że można trenować modele AI na małych zakładach, ale rzeczywisty problem dotyczy sytuacji z niezwykle wysokimi stawkami - tam, gdzie błędne decyzje byłyby katastrofalne.

Benchmark RiskAverseOOD pozwala zmierzyć, na ile dobieawersja do ryzyka "skaluje się" wraz z roszczącą trudnością. Badacze przetestowali trzy podejścia: fine-tuning (SFT), optymalizację preferencji bezpośredniej (DPO) oraz steering aktywacyjny. Modeli Qwen3-8B uczono wybierać bezpieczne opcje na małych stawkach, a następnie testowano na scenariuszach z stawkami większymi o 98 rzędów wielkości. Rezultaty wskazywały, że awersja do ryzyka rzeczywiście się przenosi - na przykład przy SFT wskaźnik wyboru bezpiecznej strategii wzrósł z bazowych 2% do około 70%.

Wynalazki zostały zreplikowane na różnych rozmiarach modeli (Qwen3-1.7B, Qwen3-14B) i architekturach (Gemma-3-12B-IT, Llama-3.1-8B-Instruct), co sugeruje solidność obserwacji. To ma znaczenie dla AI safety - jeśli modele mogą nauczyć się unikać ryzykownych strategii na etapie treningu i zachowywać tę postawę w nowych kontekstach, może to być potężnym narzędziem do ograniczenia potencjalnych zagrożeń ze strony źle wyrównanych systemów AI.