Nowy system KARL opiera się na reinforcement learingu, by wytrenować modele językowe do świadomości własnych granic wiedzy i zmniejszenia halucynacji. Metoda rozwiązuje jeden z najtrudniejszych problemów współczesnych LLM-ów - tendencję do zmyślania faktów i podawania ich za prawdę, nawet gdy model nie dysponuje odpowiednią wiedzą.
KARL nagradza model za szczerość poprzez motywowanie go do mówienia "nie wiem" w sytuacjach, gdy brakuje mu pewności. Zamiast kar za niepoprawne odpowiedzi, system pozytywnie wzmacnia behawior polegający na przyznaniu się do ograniczeń wiedzy. To znaczący krok w stronę bardziej wiarygodnych i bezpiecznych systemów AI, ponieważ halucynacje stanowią poważny problem zwłaszcza w aplikacjach kritycznych, od medycyny po prawo, gdzie zaufanie do informacji przekazywanych przez AI jest kluczowe.
Podejście KARL różni się od wcześniejszych metod tym, że nie tylko każy modelom być ostrożniejszymi, ale aktywnie uczy je rozpoznawania brzegów własnej wiedzy. To może mieć długofalowy wpływ na sposób, w jaki rozwijane są kolejne generacje LLM-ów - zamiast optymalizacji pod kątem najczęstszych prawidłowych odpowiedzi, mogą być trenowane z myślą o niezawodności i przejrzystości co do własnych możliwości. Choć KARL jest wciąż metodą badawczą, jej potencjalne zastosowanie w praktyce mogłoby znacznie poprawić praktyczność modeli AI w rzeczywistych scenariuszach biznesowych i naukowych.