Obecne benchmarki do oceny moralnego rozumowania dużych modeli językowych skupiają się głównie na problemie wartości moralnych - czy wyjścia modeli zgodne są z ludzkimi wartościami - podczas gdy problem norm moralnych, czyli czy modele potrafią zidentyfikować i prawidłowo zastosować kontekstowe normy moralne, pozostaje niedostatecznie badany. Ta nierównowaga wynika z polega na opisowych ramach etyki, takich jak Moral Foundations Theory czy etapy moralnego rozwoju Kohlberga, które kładą nacisk na reprezentację wartości zamiast ich normatywnego zastosowania.
Badacze przeanalizowali istniejące benchmarki i metody ewaluacyjne, wykazując że skupiają się one ciężko wokół problemu wartości, podczas gdy dyskusja na temat etyki normatywnej jest niedoreprezentowana. Zidentyfikowali trzy zasadnicze luki: brak wysokiej jakości danych odnowów z odpowiadającymi im aplikacjami, niewystarczającą ewaluację pośrednich procesów rozumowania oraz ograniczoną uwagę dla identyfikacji cech istotnych moralnie w kontekście. Te braki utrudniają rzeczywistą ocenę zdolności LLM do praktycznego rozumowania moralnego w rzeczywistych sytuacjach.
Do rozwiązania tego problemu naukowcy proponują ambitny program badawczy obejmujący opracowanie standaryzowanych formalnych reprezentacji dla teorii normatywnych, skonstruowanie zbiorów danych z adnotacjami ekspertów ukazującymi jak normy się stosuje, oraz protokoły ewaluacyjne wyraźnie rozróżniające kompetencje na poziomie wartości od kompetencji na poziomie norm. Taki bardziej systematyczny podход do badania normatywnego rozumowania w LLM może prowadzić do znacznie bardziej zaawansowanych systemów AI zdolnych do rzeczywistego moralnego wnioskowania.