Międzynarodowy zespół badawczy opublikował CMNIE - first benchmark do joint information extraction z chińskich wiadomości wojskowych, adresując lukę w zasobach dla zaawansowanej analizy tekstu w tym specjalistycznym domenie. Dataset zawiera 13 tysięcy instancji zebranych z publicznych chińskich wiadomości wojskowych z kompletnym ręcznym adnotowaniem. Każda próbka zawiera wiele poziomów informacji strukturalnej: 7 typów zdarzeń, 10 ról argumentów zdarzeń, 7 typów jednostek nazwanych i 8 typów relacji między jednostkami.
Benchmark stanowi znaczną ewolucję w stosunku do istniejących zasobów, które zazwyczaj skupiały się na adnotacjach na poziomie dokumentu. CMNIE wymaga wspólnego modelowania wielu aspektów - od identyfikacji trigger-ów zdarzeń poprzez mapowanie ich argumentów po rozpoznawanie jednostek i relacji między nimi. To kompleksowe podejście odwzorowuje rzeczywiste potrzeby systemów analizy wywiadowczej i budowy baz wiedzy.
Wyniki eksperymentów pokazują, że CMNIE pozostaje wyzwaniem nawet dla zaawansowanych metod. Modele nadzorowane, modele zero-shot LLM-ów oraz metody fine-tuned dostępne na wspólnym zestawie testowym wykazywały szczególne trudności z ekstrakcją relacji i dokładnym dopasowaniem granic fragmentów tekstu odpowiadających argumentom zdarzeń. Chociaż LLM-y zero-shot potrafiły często zidentyfikować semantycznie istotne jednostki, nie były w stanie osiągnąć precyzyjnego dopasowania granic - problem który pozostaje kluczowy dla praktycznych zastosowań w analizie bezpieczeństwa.