Zespół naukowców opublikował pracę dotyczącą Kairos - eksperymentalnego modelu fundamentalnego, który próbuje połączyć wszystkie modalności danych - tekst, obrazy, audio, wideo, lidar i strumienie kontrolne - w jedną wspólną reprezentację na poziomie bajtów. Podejście stanowi odejście od tradycyjnych architektur tokenowych i otwiera pytanie o uniwersalność modelowania multimodalnego.
Architektura Kairos łączy kilka zaawansowanych komponentów: liniową attention typu gated-DeltaNet z attention z przesuwającym się oknem (LiZAttention2), block-wise agregację attention-residual, rzadką warstwę Mixture-of-Experts oraz multi-skalowalny codec bajtowy. Model trenowany jest z uniform-noise denoising objective w jednej wspólnej przestrzeni bajtowej dla wszystkich modalności. Zespół zaprezentował szczegółowe algorytmy dla każdego komponentu, w tym bramkę pamięci stanu rekurencyjnego między sesjami.
Wstępne testy konwergencji skupiały się na minimalistycznych warunkach - overfit'owaniu pojedynczego 440-bajtowego zdania z modelami o rozmiarach od 1 do 15 milionów parametrów. Po 3000 kroków obie testowane warianty attention osiągnęły stratę minimalną bliską 10^-3, a średnia minimalna strata wahała się od 0.018 dla patch codeca do 0.354 dla depthwise convolution. Badanie wykazało również, że pierwotnie obserwowana przewaga wspólnych projekcji attention nad osobnymi okazała się efektem szybkości konwergencji, a nie różnicą w pojemności modelu.