Naukowcy opracowali MD-SigLIP - nową metodę opartą na margin-regularized structured semantic alignment, która bezpośrednio wyrównuje embeddingi mózgu z embedingami tekstowymi w wspólnej przestrzeni semantycznej. W przeciwieństwie do poprzednich podejść, które opierały się na generatywnych modelach języka, nowe rozwiązanie umożliwia dekodowanie oparte na retrievalu i wyraźne modelowanie korespondencji między reprezentacjami neuralnym a semantyką języka.
Klucz do innowacji leży w zastosowaniu margin-regularized contrastive learning. Metoda buduje się na duplicate-aware sigmoid contrastive learning, ale dodaje terminy margin-regularized, które wymuszają strukturalne ograniczenia rankingowe między pozytywnymi klastrami semantycznymi a próbkami negatywnymi. Dzięki temu podejściu model uchwycuje organizację manifoldu embedingów języka, która jest odzwierciedlona w sygnałach neuralnych.
Problematyka jest ważna dla neurocybernetyki: dotychczas nie było jasne, czy dekodowane treści naprawdę odzwierciedlają rzeczywiste reprezentacje neuralowe, czy są głównie rekonstrukcją dokonywane przez sam model języka. To zaciemniało interpretowelność i utrudniało badanie wewnętrznych mechanizmów mózgu-języka. Eksperymentów MD-SigLIP wykazały najlepsze wyniki w wydajności retrieval w zarówno pełnych słownikach, jak i w ustawieniach ze zmniejszonym podzbiorem słów, co sugeruje potencjał dla głębszego rozumienia korespondencji między mózgiem a językiem.