Zespół badaczy opracował CANDI-QA, nowy dataset specjalizowany do oceny dużych modeli językowych w wyspecjalizowanych domenach, które tradycyjnie zostają niedoceniane w standardowych benchmarkach. Dataset zawiera ekspertowsko przygotowane pary pytań i odpowiedzi podzielone na dwie kategorie: pytania informacyjne wymagające precyzyjnej ekstrakcji faktów oraz pytania z zakresu stosowanego wnioskowania, które wymagają wielokrokowego rozumowania i zdolności do generowania praktycznych wniosków na podstawie kontekstu sytuacyjnego.
Ważność tego podejścia leży w tym, że wcześniejsze benchmarki nie uwzględniały specyficznych wymagań branż takich jak medycyna czy doradztwo finansowe. W tych dziedzinach model musi nie tylko znać fakty, ale rozumieć kontekst pytania, być świadomym preferencji użytkownika i dostarczać odpowiedzi dostosowane do rzeczywistych potrzeb. Badacze ewaluowali ponad dziesięć modeli od kompaktowych systemów open-source do własnościowych rozwiązań na najwyższym poziomie.
Jako punkt odniesienia zaproponowano MTSS-Net, lekką ramę neuro-symboliczną łączącą neuronowe wyszukiwanie z regułami logiki. Wyniki ujawniają znaczące ograniczenia obecnych LLM-ów w dostosowaniu się do kontekstu specjalistycznych dziedzin. Bez ulepszonego wsparcia kontekstowego lub integracji z systemami symbolicznym, modele nie radzą sobie wystarczająco dobrze w takich wymagających scenariuszach. CANDI-QA ma stać się kluczowym narzędziem dla badaczy pracujących nad bardziej świadomymi kontekstu modelami językowymi.