Nokia open-sourceowała bibliotekę AnyJev, która zamienia otwarty LLM w kalibrowany model decyzyjny działający bez treningu. Narzędzie dostępne jest na PyPI pod licencją Apache-2.0 i wspiera backendy transformers oraz vLLM z funkcją shared-prefix scoring.
Problemy z metodami dotychczasowymi polegają na tym, że proste odczytanie logitów bezpośrednio z modelu prowadzi do dwóch istotnych wad. Pierwsza to bias w pierwotnym rozkładzie - modele favortyzują pewne etykiety niezależnie od kontekstu, przykładowo odpowiadając częściej "Tak" niż "Nie". Druga to bias pozycji - model preferuje określone miejsca na liście opcji, niezależnie od ich logicznego porządku. Przeordynowanie odpowiedzi może zatem zmienić wynik, a prawdopodobieństwa wychodzą niekalibrowane.
AnyJev działa poprzez system poziomów kalibracji, gdzie L0 oznacza podstawowe podejście, a wyższe poziomy zastosowują coraz zaawansowansze korekty uprzedzeń. Interfejs biblioteki pożycza wzorce od wcześniejszego modelu Jev z TypeSafe AI i umożliwia cztery scenariusze - pytania wielokrotnego wyboru, pytania tak-nie, pytania z rankingiem oraz ocenę w uporzadkowanych przedziałach. Bez konieczności generowania tekstu, parsowania czy dodatkowego treningu, AnyJev czyta rozkład następnego tokenu bezpośrednio z modelu i zwraca prawdopodobieństwo, które można filtrować progiem.