Naukowcy opracowali algorytm EAGLE 3.1, który rozwiązuje jeden z kluczowych problemów zwalniających pracę dużych modeli językowych - tzw. attention drift. Chodzi o zjawisko, w którym mechanizm atencji LLM traci precyzję podczas generowania tekstu w trybie spekulacyjnym, co prowadzi do błędów i zbędnych obliczeń. EAGLE 3.1 to ulepszony system spekulacyjnego dekodowania, który utrzymuje lepszą kontrolę nad tym, gdzie model kieruje swoją "uwagę" podczas wnioskowania, dzięki czemu generacja tekstu staje się zarówno szybsza, jak i bardziej niezawodna.
Spekulacyjne dekodowanie to technika, w której mniejszy model generuje kilka następnych tokenów na szybko, a następnie większy model sprawdza ich poprawność. Pozwala to znacznie przyspieszć wnioskowanie bez utraty jakości - do tej pory jednak attention drift ograniczał efektywność tej metody. EAGLE 3.1 rozwiązuje ten problem poprzez lepszą synchronizację mechanizmów atencji między etapami spekulacji i weryfikacji, co w praktyce oznacza szybsze odpowiedzi bez kompromisów na jakości.
Dla branży AI to istotny postęp, szczególnie dla aplikacji wymagających niskich opóźnień i dużej przepustowości - od chatbotów obsługujących tysiące użytkowników jednocześnie po systemy przetwarzające ogromne ilości danych w czasie rzeczywistym. Tańsze i szybsze wnioskowanie oznacza też mniejsze koszty operacyjne dla firm wdrażających zaawansowane modele, co może przyczynić się do demokratyzacji dostępu do potężnych narzędzi AI.