Naukowcy opracowali DualOptim+, innowacyjną metodę usuwania wiedzy z dużych modeli językowych, która pozwala na skuteczne czyszczenie wrażliwych danych bez konieczności ponownego trenowania całego modelu od podstaw. Nowe podejście łączy współdzielone i niezależne stany optymizatora, co stanowi znaczący krok naprzód w technologii machine unlearning - dziedzinie odpowiadającej na rosnące wymogi prywatności i regulacje prawne takie jak GDPR czy prawo do bycia zapomnianym. Problem jest realny: gdy model nauczy się wrażliwych informacji o użytkownikach, ich danych medycznych czy finansowych, usunięcie tej wiedzy przy zachowaniu funkcjonalności reszty systemu staje się wyzwaniem. Tradycyjnym rozwiązaniem jest pełne przeszkolenie modelu, co pochłania ogromne zasoby obliczeniowe i czas.
DualOptim+ rozwiązuje ten problem poprzez inteligentny dobór, które części stanu optymizatora są wspólne dla wszystkich danych treningowych, a które pracują niezależnie dla każdej próbki. To pozwala naukowcom na precyzyjne usunięcie wybranego fragmentu wiedzy bez zakłócania pozostałych zdolności modelu. Metoda jest szczególnie ważna w kontekście malejących kosztów obliczeniowych i rosnącej liczby wdrożeń LLM w branżach takich jak opieka zdrowotna, finanse czy edukacja, gdzie przetwarzanie danych osobowych podlegających rygorystycznym wymogom to norma.
Rozwój DualOptim+ wskazuje na maturing ekosystemu sztucznej inteligencji - firmy i instytucje już nie mogą ignorować aspektów prawnych i etycznych związanych z trenowaniem i działaniem modeli. Efektywne usuwanie wiedzy bez czasochłonnego przeszkolenia to krok w kierunku bardziej odpowiedzialnego wdrażania AI, które będzie mogło elastycznie dostosowywać się do zmian regulacyjnych i żądań użytkowników dotyczących ich danych.