Badacze znaleźli sposób na wprowadzenie bezpieczeństwa do dużych modeli językowych bez znaczącego obniżenia ich wydajności. Problem, z którym boryka się branża, to tzw. safety tax - zjawisko, gdzie dostosowanie modelu do wymagań bezpieczeństwa powoduje spadek jego ogólnych kompetencji i jakości generowanych tekstów. Nowa metoda samodystrylacji on-policy obiecuje przełamać ten impas, pozwalając modelom pozostać zarówno bezpieczne, jak i sprytne.
Tradycyjne podejście do bezpieczeństwa LLM opiera się na drobnym dostrojeniu modeli przy użyciu danych pochodzących z zewnętrznych źródeł - off-policy. To podejście, choć redukowało niebezpieczne odpowiedzi, jednocześnie obniżało jakość rozumowania i twórczości modelu. Nowa technika zmienia zasadę gry, wykorzystując dane generowane przez sam model podczas procesu poprawy bezpieczeństwa - on-policy. Dzięki temu model uczy się rzeczy na podstawie własnych doświadczeń, a nie sztucznych przykładów z zewnątrz, co zachowuje jego wyjściowe zdolności.
To rozwiązanie ma konkretne znaczenie dla firm rozwijających systemy AI. Implementacja bezpiecznych modeli językowych staje się bardziej ekonomiczna i praktyczna, jeśli nie musimy rezygnować z ich mocy obliczeniowej czy twórczych możliwości. W kontekście rosnących wymagań regulacyjnych dotyczących odpowiedzialnego AI, metoda ta może ułatwić wdrażanie zaawansowanych systemów, które jednocześnie spełniają standardy bezpieczeństwa i dostarczają rzeczywistą wartość użytkownikom.