Uniwersytet Michigan opublikował w Nature Medicine NeuroVFM - wszechstronny model fundacyjny przeznaczony do analizy neuroimagingu, który został wytrenowany na 5,24 miliona klinicznych skanów MRI i CT pochodzących z rzeczywistych procedur medycznych prowadzonych w Michigan Medicine przez ponad dwie dekady.
Kluczowym problemem, który rozwiązuje to rozwiązanie, jest niedostępność danych neuroimagingowych dla głównych modeli sztucznej inteligencji. Skanowanie mózgu zawiera rozpoznawalne cechy twarzy pacjentów, dlatego takie dane nie trafiają do publicznych zbiorów internetowych używanych do trenowania większości modeli AI. W rezultacie ogólne modele radzą sobie słabo w zadaniach związanych z obrazami mózgu. Zespół z Michigan określa swoje podejście mianem "health system learning" - model uczy się z nieselekcjonowanych danych powstających podczas zwykłych operacji klinicznych, omijając tradycyjne wąskie gardła związane z wymaganiem sparowanych raportów radiologicznych czy curacji danych dla konkretnych chorób.
NeuroVFM opiera się na metodzie Vol-JEPA, która stanowi rozszerzenie wcześniejszych podejść I-JEPA i V-JEPA na obrazy medyczne w trzech wymiarach. Vol-JEPA to algorytm samouczący się działający wyłącznie na podstawie wizji - zamiast rekonstruować piksele, przewiduje reprezentacje w przestrzeni utajonej bez potrzeby etykiet, tekstu z raportów czy dekodowania wokseli. Każdy wolumetryczny skan jest tokenizowany na nienakładające się fragmenty o wymiarach 4x16x16 wokseli. To podejście otwiera nowe perspektywy dla interpretacji obrazów medycznych i stanowi przykład szerszego trendu rozszerzania technik JEPA-style do medycyny.