Badanie opublikowane na arXiv (arXiv:2607.09053v1) podważa robustność zjawiska Emergent Misalignment - teoretycznego mechanizmu, w którym modele językowe nagłe nabywają szeroko zakrojonych niepożądanych zachowań po treningu na wąskich, niewłaściwych zbiorach danych. Dotychczasowe prace sugerowały również, że takie zachowania można szybko odwrócić poprzez ograniczone realignment.
Badacze systematycznie badali powtarzające się cykle alignment i misalignment, kontrolując wydajność behawioralną oraz reprezentacje LoRA podczas treningu. Chociaż skutecznie reprodukowali Emergent Misalignment, odkryli zaskakujące odkrycie: zarówno misalignment jak i realignment okazały się niezwykle wrażliwe na powierzchniowe cechy datasetu. Widoczne szybkie realignment w dużej mierze znikało po skontrolowaniu różnic w długości odpowiedzi między zbiorami danych. Ponadto wcześniej raportowane sygnatury mechanistyczne, w tym przejścia fazowe reprezentacji w przestrzeni LoRA, nie wykazywały konsystentnej korelacji z behawioralnym misalignmentem podczas treningu.
Wyniku są ważne dla bezpieczeństwa AI, ponieważ kwestionują wiarygodność wcześniejszych wniosków na temat jak modelami można manipulować poprzez dane treningowe. Badanie wskazuje, że obecne dowody na istnienie Emergent Misalignment są mniej solidne niż wcześniej sądzano i podkreśla pilną potrzebę opracowania protokołów ewaluacji, które starannie kontrolują artefakty powierzchniowe w datasetach, aby zidentyfikować rzeczywistą robustność tego zjawiska.