Jev to interfejs do rozumienia języka naturalnego, który generuje probabilistyczne decyzje zamiast swobodnych odpowiedzi - dla danego wejścia i predefiniowanych pytań zwraca oszacowania pewności poszczególnych wyborów. Naukowcy badali czy takie podejście może efektywnie wspierać rozumowanie w klasyfikacji tekstu w porównaniu z wiodącymi dużymi modelami językowymi.
Emo-Jev to framework działający bez konieczności treningu, oferujący dwie komplementarne strategie. Pierwsza, Emo-Jev-D, rozkłada zadanie klasyfikacji na specyficzne dla problemu atomowe osądy - na przykład w analizie sentymentu może ocenić różne aspekty tekstu - a następnie komponuje ich prawdopodobieństwa w ostateczną predykcję. Druga strategie, Emo-Jev-SC, konstruuje wiele ścieżek osądu z perspektyw różnych elementów tekstu i agreguje ich przewidywania w konsensualną decyzję. To podejście nawiązuje do chain-of-thought reasoning znanego z najbardziej zaawansowanych modeli.
Ewaluacja na ośmiu zbiorach danych - analizie sentymentu, rozpoznawaniu emocji, detektywnie sarkazmu i humoru - pokazała interesujący obraz. Podczas gdy bazowy Jev osiąga średnią makro-F1 na poziomie 62,93 procent w porównaniu do 67,28 procent dla najsilniejszego modelu LLM, oferuje znacznie niższą latencję (szybsze odpowiedzi) i generalnie niższe koszty obliczeniowe. To sugeruje potencjał probabilistycznego interfejsu dla praktycznych zastosowań, gdzie szybkość i efektywność kosztowa mogą być ważniejsze niż marginalne poprawy w dokładności.