Naukowcy z Autodesk AI Lab opracowali AutoIndexer - model który fundamentalnie zmienia sposób, w jaki sieci neuronowe generują tekst. Zamiast tradycyjnego podejścia autoregresyjnego, gdzie każdy token jest generowany sekwencyjnie i nie może być zmieniony, AutoIndexer pozwala na elastyczną edycję wcześniej wygenerowanego tekstu poprzez wstawienia, substytucje i usunięcia tokenów. To działa jak edytor tekstu - model przewiduje markery otwarcia i zamknięcia edycji, jednocześnie przesuwając kursor do żądanych pozycji w istniejącej sekwencji.
Problem, który rozwiązuje ta metoda, jest fundamentalny. Modele autoregresyjne cierpią na to, że nie mogą poprawiać wcześniejszych decyzji, co szczególnie utrudnia generowanie tekstów zawierających cross-reference, zależności przyszłościowe czy struktury wymagające planowania na poziomie całego dokumentu. Podczas gdy modele oparte na dyfuzji częściowo łagodzą ten problem, wciąż nie pozwalają na elastyczne wstawienie lub usunięcie dowolnej liczby tokenów. AutoIndexer uczy się poprzez perturbację danych treningowych - tekst jest celowo zaburzany odwrotnymi operacjami edycji, a model uczy się je cofać. To podejście czyni AutoIndexer odpornym na błędy w kontekście i przystosowanym do zadań takich jak korekcja kodu.
Na razie wyniki pokazują, że AutoIndexer utrzymuje wydajność na standardowych benchmarkach LLM, jednocześnie uzyskując możliwości post-generacyjnej edycji tekstu, których brakuje większości istniejących modeli. Kod projektu został udostępniony na GitHubie, co otwiera drogę do dalszych badań nad elastycznym generowaniem tekstu.