Duże modele językowe coraz częściej wdrażane są w systemach krytycznych dla bezpieczeństwa w opiece zdrowotnej, finansach i edukacji, ale ich niezdolność do zapominania stanowi poważne zagrożenie dla cyberbezpieczeństwa i prywatności. Wrażliwe dane osobowe, materiały chronione prawem autorskim, niebezpieczna wiedza specjalistyczna i zapamiętane dane treningowe pozostają zakodowane w miliardach parametrów długo po wdrożeniu, narażając modele na ataki ekstrakcji, exploity jailbreak, inference członkowstwa oraz naruszenia wymogów regulacyjnych.
Problemy nie należą już do sfery teoretycznej - realne incydenty pokazują chatboty regenerujące prywatne informacje i modele podające wymyślone cytaty prawne powodując bezpośrednie straty finansowe i prawne. Pełne przeucczanie miliardoparametrowych modeli na poprawionych zbiorach danych jest obliczeniowo niemożliwe, a wiedza w LLM-ach jest rozproszona i splątana w parametrach, a nie zlokalizowana w identyfikowalnych jednostkach. W odpowiedzi na to wyzwanie unlearning LLM-ów wyłonił się jako główna technika obrony, mająca na celu usunięcie lub stłumienie docelowej wiedzy z wytrenowanego modelu bez pełnego przeucczania i bez erozji tego, co model powinien wiedzieć.
Centralnym pytaniem pozostającym bez rozstrzygnięcia jest jednak to, czy obecne metody unlearning naprawdę usuwają wiedzę z modelu, czy tylko uniemożliwiają jej wyrażanie w zwyczajnych warunkach promptowania. Survey bada unlearning poprzez soczewkę bezpieczeństwa, odporności i weryfikowalności, próbując odpowiedzieć na pytania o rzeczywistą skuteczność obecnych podejść i ewolującego krajobrazu zagrożeń.