Badacze pokazują, że dodanie depthwise convolutions do Transformerów może poprawić modelowanie lokalnych interakcji tokenów w dużych modelach językowych. Choć samouważność zapewnia globalną interakcję między tokenami, nie koduje explicit nie lokalności naturalnego języka - w tym właśnie splot może być pomocny.
W swoim badaniu autorzy testowali 17 różnych lokalizacji splotu w bloku Transformer modelu Qwen3. Optymalnie działało zastosowanie splotu do zaprojektowanych zapytań, kluczy i wartości przed mechanizmem attention. Najlepszą architekturę stanowiła residualna depthwise convolution z jądrem o rozmiarze 3, bez dodatkowej normalizacji czy aktywacji. To podejście dodaje mniej niż 0,01% parametrów do modelu - praktycznie nie powiększając go.
Wyniki wskazują konsekwentną poprawę średniej dokładności na siedmiu benchmarkach downstream w modelach Qwen3 testowanych przy różnych budżetach danych treningowych. Analiza na poziomie reprezentacji sugeruje, że splot sprawia, że powtarzające się identyfikatory tokenów są bardziej wrażliwe na swój bezpośredni kontekst. Badanie wspiera koncepcję depthwise convolution jako lekkiego i efektywnego uzupełnienia self-attention, szczególnie do modelowania krótkodalekowych interakcji między tokenami.