Naukowcy zbadali, czy agenty zmiennie się uczące mogą przypadkowo utrwalać złe decyzje w formie napisanych przez siebie lekcji i czy inne instancje tego samego modelu będą się nimi kierować. W zarejestrowanym przed czasem eksperymencie przygotowano 256 środowisk testowych, gdzie każde zawierało zadanie powtarzane z dwoma narzędziami o znanej niezawodności - jedno bardziej wiarygodne, drugie mniej. Poprzednia próba scripted pokazywała albo dobrą decyzję (wybór narzędzia bardziej wiarygodnego), albo złą (wybór słabszego), a wynik był ustalony z góry: sukces lub czasowa porażka. Model napisał lekcję z tej próby, następnie nowa sesja tego samego modelu miała wybrać pierwsze narzędzie w następnej próbie, dysponując autorytatywnym logiem i poprzednim wynikiem, oraz jednym elementem pamięci - lekcją z ocenianej próby, lekcją z wyniku alternatywnego, elementem nieistotnym lub dyrektywą bez uzasadnienia.
Protokół zamrażania i zdeponowania czasem odbył się przed wywołaniami weryfikacyjnymi. Jedenascie punktów końcowych LLM dostarczyło 90 084 odpowiedzi. Najważniejsze odkrycie: gdy lepsze narzędzie przypadkowo zawiodło, lekcje napisane przez model o tej porażce powodowały, że czytające je agenty wybierały gorsze narzędzie w 11,6 procentu następnych prób, wobec zaledwie 0,4 procenta gdy miały dostęp do elementu nieistotnego lub lekcji z sukcesu tego lepszego narzędzia. Efekt interakcji wynosił plus 0,112 (przedział 95 procent: od plus 0,097 do plus 0,126). Przesunięcie było silniejsze (plus 0,181) w scenariuszach, gdzie log nie wyjaśniał niezależności porażek.
Badanie ma znaczenie dla bezpieczeństwa systemów samoulepszających się: pokazuje konkretny mechanizm, przez który losowe obserwacje mogą zostać sformalizowane w trwałe, błędne strategie, a następnie rozpropagowane do przyszłych decyzji. W rzeczywistych zastosowaniach, gdzie liczba treningowych przebiegów może być ograniczona, takie efekty mogą prowadzić do systematycznych anomalii zachowania.