Zespół badawczy zaproponował Moir - nową metodę edycji wiedzy, która utrzymuje zdolności matematyczne modeli podczas aktualizacji ich wiadomości. Problem istnieje, bo obecne edytory wiedzy przechowują tylko wąskie podprzestrzenie odpowiadające treściom z uczenia, omijając szersze rozkłady powstałe podczas fine-tuningu przez SFT i DPO.
Moir działa inaczej niż dotychczasowe podejścia. Zamiast opierać się na zewnętrznych źródłach takich jak Wikipedia, metoda bezpośrednio próbkuje z rozkładu samego modelu. Zastosowanie losowego tokenu do inicjalizacji generacji omija szablony instrukcji, odsłaniając szersze umiejętności, które model rzeczywiście ma wbudowane. To pozwala dokładniej zachować ważne zdolności matematyczne i programistyczne, które wcześniej ulegały zniszczeniu.
Badacze testowali Moir na trzech dużych modelach - Llama-3.1, OLMo-2 i Qwen-3 w wersji 7-8B, stosując różne edytory (MEMIT, AlphaEdit) i scenariusze. Metoda konsekwentnie lepiej chroniła najbardziej podatne domeny wiedzy. Kluczową zaletą Moir jest to, że nie wymaga dostępu do oryginalnych danych treningowych, których większość współczesnych LLM-ów nie udostępnia publicznie. Funkcjonuje jako moduł, który można dodać do istniejących edytorów wiedzy.