Badacze opracowali nową metodę ewaluacji o nazwie ContextAdapt, aby zbadać, czy duże modele językowe odpowiednio stosują kluczowe wartości etyczne w zależności od kontekstu zawodowego. Ramy oceny badały trzy główne wartości - uczciwość, autonomię i poufność - na tle czterech różnych dziedzin: medycyny, prawa, finansów i bezpieczeństwa narodowego, opierając się na rzeczywistych dokumentach zawodowych i regulacyjnych.
W głównym eksperymencie oceniono 12 modeli LLM, które osiągnęły średnią 95,6% prawidłowych rekomendacji dotyczących działań. Jednak wiele modeli miało poważne trudności z dostarczeniem właściwych uzasadnień specificznych dla domeny - tylko od 25,6% do 76,9% modeli konsekwentnie podawało kontekstowo poprawne wyjaśnienia. Badacze testowali również, czy łatwe manipulacje, takie jak jawne wymienienie domeny zawodowej lub zmiana roli modelu, wpłyną na jego zachowanie - okazało się, że miały one ograniczony wpływ.
Najciekawsze odkrycie dotyczy zmiennych stawek. Gdy badacze modyfikowali wysokość stawek w scenariuszach, niektóre modele drastycznie zmieniały swoje odpowiedzi, nawet gdy zobowiązanie zawodowe pozostawało niezmienione. To wskazuje na poważne problemy w stabilności i wewnętrznej spójności modelów - nie rozumieją one w pełni, dlaczego niektóre wartości są ważne w danym kontekście. Badanie sugeruje, że chociaż LLM potrafią działać w zgodzie z ogólnymi normami zawodowymi, brakuje im głębokich zrozumienia kontekstowych niuansów wartości etycznych.