Naukowcy ocenili zdolności otwartego modelu LLaMA 3.1 do automatycznego wydobywania kluczowych informacji z raportów neuroimagingowych. Analizowali 947 raportów z rezonansu magnetycznego mózgu pisanych po holendersku przez specjalistów, szkoląc studenta medycyny do ręcznego anotowania 30 zmiennych, które następnie porównali z wyjściami modelu.
Wyniki były imponujące dla większości zadań. Model osiągnął powyżej 80% dokładności w identyfikacji głównych cech patologicznych: atrofii płata skroniowego (90-96%), atrofii korowej (87%) czy zmian białaczkowych (94%). Świetnie radziła sobie też detekcja wspomnień o mikroudarach (93%) i precyzyjne określanie lokalizacji zmian (tekst similarity 0,95). Istotne jest, że model działał dobrze zarówno w wersji holenderskiej, jak i angielskiej, co otwiera możliwości zastosowania w wielu krajach.
Slabszą stroną był konkretny pomiar ilości zmian patologicznych - model osiągnął 80% dla liczby mikroudarów i tylko 66% dla udarów mózgu. To sugeruje, że modele LLM w tej chwili sprawdzają się doskonale w kategoryzacji i detekcji, ale mają trudności z precyzyjnym liczeniem. Mimo tego wynik dowodzi, że otwarte modele mogą znacznie przyspieszić przetwarzanie raportów radiologicznych w praktyce klinicznej i badawczej.