Naukowcy zidentyfikowali wreszcie, kiedy samokorekcja dużych modeli języka rzeczywiście działa, a kiedy jest jedynie fasadą. Okazuje się, że nie wystarczy prosić AI o przeredagowanie odpowiedzi - trzeba wiedzieć, w jakim stanie umysłowym (lub raczej obliczeniowym) model się znajduje. Nowe badania łączą teorię sterowania z praktycznym podejściem Verify-First, które sprawdza najpierw, czy model w ogóle jest w stanie poprawić swoje błędy, zanim go o to poprosimy. To ważne odkrycie, bo dotychczas producenci AI często promowali samokorekcję jako uniwersalny środek, ignorując jej poważne ograniczenia.
Teoria sterowania to narzędzie, które inżynierowie zwykle używają do analizy systemów fizycznych - zastosowanie jej do LLM jest całkiem świeże podejście. Badacze przeanalizowali, jakie warunki muszą być spełnione, aby model mógł zidentyfikować i naprawić własne pomyłki. Okazało się, że samokorekcja działa przyzwoicie w ściśle określonych scenariuszach - kiedy model ma dostęp do niezawodnego sygnału zwrotnego, kiedy błąd tkwi w procedurze a nie w fundamentalnym nierozumieniu, albo kiedy pytanie nie wymaga całkowicie nowej perspektywy. W wielu innych przypadkach prosba o ponowne przemyślenie prowadzi jedynie do tego, że model generuje kolejną wiarygodnie brzmiącą odpowiedź, wcale nie lepszą od pierwszej.
Praktycznie rzecz biorąc, nowe podejście weryfikacyjne zmienia grę. Zamiast automatycznie włączać iteracyjne poprawianie, system najpierw diagnozuje, czy warta jest pena. Jeśli kontrola wykryje, że model najprawdopodobniej nie da rady samodzielnie, lepiej albo poprosić o bardziej strukturyzowane rozumowanie, albo zwrócić się do człowieka. Ten Switch myślenia - od "zawsze próbuj się poprawić" do "najpierw zweryfikuj czy to sensowne" - ma potencjał radykalnie poprawić niezawodność systemów AI w praktyce, zwłaszcza tam, gdzie błędy mają rzeczywiste konsekwencje.