Badacze z arXiv wprowadzili CLIR-Bench, nowy benchmark specjalnie stworzony do testowania zdolności modeli AI w analizie pytań dotyczących klinicznych szeregów czasowych. Dane pochodzą z odległych stanów zdrowia pacjentów na oddziałach intensywnej opieki medycznej i są naturalne nieregularne - próbki pobierane są asynchronicznie i w różnych przedziałach czasowych.
Benchmark zawiera 6600 instancji pytań na temat 11 zmiennych klinicznych, zorganizowanych w cztery wymiary zdolności i 11 zadań. Każde pytanie jest powiązane z dokładnym dowodem czasowym i regułami derywacji odpowiedzi specyficzną dla danego zadania, co pozwala ocenić zarówno dokładność odpowiedzi, jak i prawidłowe wykorzystanie dostępnych dowodów. Dane zostały wyodrębnione z deanonimizowanych zapisów ICU poprzez czterostopniowy, rzetelny proces.
Eksperyment ujawnił znaczący problem - istniejące modele ogólnego zastosowania, w tym zaawansowane modele językowe, wykazują poważne trudności w wyszukiwaniu i prowadzeniu rozumowania nad rzadkimi danymi klinicznymi. Odkrycie to podkreśla pilną potrzebę opracowania bardziej zaawansowanych metod specjalizujących się w analizie nieregularnych szeregów czasowych. Kod i dane benchmarku są publicznie dostępne na platformie Hugging Face, co otwiera możliwości dla szerszej społeczności badawczej do pracy nad tym wyzwaniem.