Badacze z arXiv zaprezentowali GeoSteer, metodę optymalizacyjną do sterowania aktywacjami w LLM-ach, która zastępuje tradycyjne jednokrokowe edycje z ustalonymi trajektoriami bardziej zaawansowanym podejściem geometrycznym. Zamiast bezpośrednio modyfikować ukryte aktywacje, GeoSteer formułuje problem jako optymalizację Riemanna, przesuwając aktivacje poprzez serię małych kroków geodezyjnych na rozmaitości reprezentacji. To rozwiązanie utrzymuje normę aktywacji, zmniejszając ryzyko upadku reprezentacji, podczas gdy tradycyjne metody mogą degradować model.
Kluczową innowacją GeoSteera jest nauka nieliniowej funkcji celu w przestrzeni aktywacji, która automatycznie rozróżnia aktywacje pożądane od niepożądanych. Ta funkcja adaptacyjnie prowadzi każdy krok sterowania, zamiast polegać na wstępnie zdefiniowanych kierunkach. Wielokrokowe podejście pozwala metodzie lepiej uchwyć złożoną strukturę rozkładów aktywacji i generuje bardziej stabilne oraz konsekwentne zachowanie modelu.
Wyniki testów na benchmarkach TruthfulQA, RealToxicityPrompts i UltraFeedback wykazują, że GeoSteer konsekwentnie przewyższa istniejące metody sterowania aktywacjami. Badanie sugeruje, że norm-preserving steering można uczynić znacznie bardziej efektywnym poprzez zastąpienie sztywnych jednokrokowych edycji adaptacyjną optymalizacją uwzględniającą geometrię przestrzeni reprezentacji, co otwiera nowe możliwości dla lekkiego kontrolowania zachowania dużych modeli języko naturalnych bez ich przeuchodzenia czy fine-tuningu.