Badacze opracowali LLM4EHR, nowy model fundacyjny trenowany na danych z jednostek intensywnej opieki medycznej, który jednocześnie przetwarza szeregi czasowe pomiarów klinicznych oraz sekwencje zdarzeń medycznych. Innowacyjne podejście polega na dopasowaniu czasowych struktur między danymi ze zdarzeniami klinicznymi zapisanymi w elektronicznych dokumentacjach medycznych a ciągłymi pomiarami parametrów fizjologicznych pacjentów.
Model łączy dwa główne komponenty: znormalizowany dla celów medycznych duży model językowy do przetwarzania opisów zdarzeń klinicznych oraz transformer do przetwarzania szeregów czasowych. Podczas fazy pretrainingu system uczy się wyrównywać obie modalności danych poprzez zastosowanie regularyzowanego celu kontrastywnego - techniki, która uczy model znajdować podobieństwa między reprezentacjami zdarzeń a pomiarami czasowymi. Taka strategia ma na celu wypracowanie bardziej solidnych i adaptacyjnych reprezentacji danych medycznych.
Autorzy wykazali, że LLM4EHR osiąga konkurencyjne wyniki na różnych zadaniach downstream - od predykcji wyników pacjentów po diagnozę. Przejście od modeli nadzorowanych do modeli fundacyjnych trenowanych na mieszaninach modalności danych klinicznych otwiera nowe możliwości dla systemów wspomagających decyzje lekarskie. Badanie podkreśla znaczenie wykorzystania naturalnych struktur czasowych w danych medycznych do budowy bardziej skutecznych narzędzi diagnostycznych i prognostycznych.