Naukowcy wreszcie zaczęli otwierać czarną skrzynkę modeli AI trenowanych na sygnałach mózgu. Zespół badaczy opracował metodę opartą na sparse autoencoderach, która pozwala zrozumieć, co dokładnie robią foundation models podczas analizy danych EEG - czyli zapisu aktywności elektrycznej mózgu. Do tej pory te modele działały w zasadzie jak tajemnicze algorytmy: wrzucałeś dane elektroencefalograficzne, dostawałeś wynik, ale nikt nie wiedział dokładnie, jak model doszedł do konkretnego wniosku. To badanie to pierwszy znaczący krok w zmianę tego stanu rzeczy.
Sparse autoencoder to w praktyce technika, która zmusza sieć neuronową do działania bardziej ekonomicznie - zamiast używać wszystkich neuronów, uaktywnia tylko najważniejsze dla danego zadania. To pozwala naukowcom zobaczyć, które konkretne wzorce aktywności mózgu model uznaje za istotne przy podejmowaniu decyzji. Dla medycyny i neurobadań to przełom, bo oznacza możliwość weryfikacji, czy model rzeczywiście uczy się fizyologicznie sensownych cech, czy przypadkiem złapał jakieś artefakty czy zakłócenia w danych. W czasach, gdy AI wszędzie się pojawia, szczególnie w ochronie zdrowia, umiejętność wyjaśnienia, jak dokładnie model działa, to nie luksus, ale konieczność.
Znaczenie tego osiągnięcia wykracza poza czystą naukę. Jeśli modele AI mają pomagać lekarzom w diagnozowaniu zaburzeń neurologicznych czy ocenie stanów pacjentów na podstawie EEG, to lekarze i pacjenci muszą móc zaufać tym modelom. Interpretowalne systemy AI w medycynie to warunek sine qua non dla ich przyjęcia w praktyce klinicznej. To badanie pokazuje, że interpretowanie foundation models nie jest wcale niemożliwe - wystarczy odpowiednia technika i metodologia. To powinna być dobra wiadomość dla całego ekosystemu AI w healthcare.