Naukowcy opracowali pierwszy benchmark, który przypisuje konkretną cenę unikaniu szkody na zwierzętach - poprzednie testy mierzyły efekty uboczne agentów AI, ale żaden nie kwantyfikował kosztów ich unikania w kontekście moralnym. HarvestBench to symulacja farmy, w której dwa tractory kierowane przez LLM-y zbierają kukurydzę na polu pełnym zwierząt. Za każdym razem, gdy zwierzę blokuje trasę traktora, autopilot zatrzymuje się i pyta model: jechać dalej (za darmo) czy ominąć je, płacąc jednostkę paliwa?
Wyniki rozstrzygające. Testując dziewięć modeli na 7201 scenariuszach z wyborami, wskaźniki zabijania zwierząt wahały się drastycznie - od zaledwie 0,4 proc. (Terra i Sol) do szokujących 98,8 proc. (GPT-4o-mini). Jako kontrolę badacze użyli skał (uszkadzające traktor, omijane w ponad 99 proc.) i bel siana (bezpieczne, niż zwierzęta). Warto zaznaczyć, że zdolności modelu nie determinowały jego "moralności" - bardziej zaawansowane modele niekoniecznie szanowały zwierzęta bardziej. Cztery z dziewięciu modeli wykazały czułość na cenę na poziomie istotności 5 proc., z elastycznością wahającą się od 0,09 do 1,69. Wszystkie modele częściej przejechały przez dzikie zwierzęta niż hodowane, niezależnie od geometrii mapy i dostępnych alternatywnych tras.
Badanie kwestionuje założenia o wartościach wbudowanych w modele AI i sugeruje, że decyzje etyczne mogą być zawierusze, podatne na framing, cenę i typ zwierzęcia. HarvestBench otwiera nowe możliwości pomiaru i dyskusji o rzeczywistych preferencjach i ograniczeniach moralnych systemów AI, zanim będą one wdrażane do podejmowania istotnych decyzji w świecie rzeczywistym.