Zespół Nous Research zaprezentował Lighthouse Attention, nową metodę attention opartą na selekcji, która działa wyłącznie podczas treningu. Technika wykorzystuje hierarchiczną strategię do obsługi długich sekwencji tekstowych, osiągając istotne przyspieszenie pretrainingu o 1.4 do 1.7 raza bez obniżenia jakości modelu. To rozwiązanie ma kluczowe znaczenie dla szkolenia większych modeli na dłuższych kontekstach, potencjalnie obniżając koszty i czasy trenowania zaawansowanych systemów AI.