Zgoda to nie wyrównanie: rozbieżne podstawy moralne w ocenach etycznych człowieka i LLM

Nowe badanie arXiv pokazuje, że zgoda modelów z ludzkimi ocenami etycznymi może być myląca - modele czasem dochodzą do tego samego wniosku, ale z zupełnie innych powodów. Naukowcy przetestowali to na specjalnie przygotowanym zestawie 500 przykładów obejmujących pięć dziedzin osądów moralnych. Obok tradycyjnych etykiet (czy coś jest słuszne czy nie) zbierali też uzasadnienia - wyjaśnienia, na czym model oparł swoją decyzję. Okazało się, że mimo wysokiej zgodności w ostatecznych ocenach między granicą a otwartymi rodzinami modeli, analiza uzasadnień ujawnia systemowe rozbieżności.

Modelami redistrybuują uwagę na kategorie moralne - zamiast skupiać się tak samo jak ludzie na szkodzie czy szacunku, mogą kłaść inny nacisk na sprawiedliwość, zasługi czy okoliczności łagodzące. To oznacza, że dwa podmioty - człowiek i model - dochodzą do identycznego wniosku poprzez całkowicie inne drogi etyczne. Dla każdego, kto ocenia bezpieczeństwo i alignment AI, to poważny problem. Ocena oparta wyłącznie na zgodności etykiet może być tragicznie myląca, sugerując że model myśli jak człowiek, podczas gdy w rzeczywistości używa zupełnie innego systemu wartości. Badacze konkludują, że alignment wymaga głębokich analiz uzasadnień i zasad stojących za decyzjami modeli, a nie tylko powierzchniowej zgody w wynikach.