Zespół badawczy opracował metodę DROPJ pozwalającą bezpiecznie trenować agentów AI w środowiskach krytycznych dla bezpieczeństwa, gdzie dynamika otoczenia jest nieznana i brak jest odpowiedniej funkcji nagród. Zamiast stosować tradycyjne uczenie ze wzmacnianiem, naukowcy zaproponowali podejście oparte na zaangażowaniu człowieka w proces szkolenia.
Mechanika metody opiera się na trzech krokach. Po pierwsze, z rzeczywistych danych trajektorii budowany jest model świata - uczony symulator środowiska. Następnie człowiek gra w tym symulatorze, generując informacyjne trajektorie symulowane. W kolejnym etapie z par segmentów trajektorii wydobywane są preferencje człowieka wraz z ich uzasadnieniami, które następnie wykorzystywane są do trenowania modelu nagród.
Wyniki eksperymentów z udziałem rzeczywistych użytkowników pokazują znaczące zmniejszenie kosztów obliczeniowych podczas treningu w porównaniu z innymi strategiami. Metoda wykazała także poprawę wydajności podczas wdrażania agenta z użyciem predykcyjnego sterowania modelowym. Ważnym odkryciem jest fakt, że korzystanie z preferencji zamiast innych typów sprzężenia zwrotnego istotnie poprawia wydajność agenta w fazie wdrażania, co sugeruje wartość kombinacji preferencji i ich uzasadnień w procesie uczenia bezpiecznego behawioru AI.