Naukowcy z arXiv opracowali zaawansowane frameworki do offline apprenticeship learning, czyli uczenia się z demonstracji ekspertów bez konieczności interakcji z rzeczywistym środowiskiem. To podejście jest kluczowe dla wrażliwych dziedzin takich jak edukacja i medycyna, gdzie systemy muszą podejmować decyzje adaptacyjne, efektywne pod względem danych i etycznie odpowiedzialne.
Nowe rozwiązania skupiają się na dwóch głównych problemach. Po pierwsze, modelowanie struktury nagród - algorytm EM-EDM grupuje demonstracje podle latentnych funkcji nagród, podczas gdy THEMES dzieli trajektorie na czasowo spójne podtrajektorie kierowane przez hierarchicznie nauczony regulator nagród. Po drugie, ocena jakości demonstracji - HALIDE integruje ciągłe sygnały jakości w hierarchiczną indukję polityki, zaś CCHAL przypisuje jakość indywidualnym decyzjom poprzez bayesowskie przypisanie kredytu i porównawczy IRL na trajectoriach błędów.
Wyniki badań na zbiorach danych z rzeczywistych systemów tutorskich i elektronicznych rejestrów medycznych pokazują, że THEMES i CCHAL znacząco przewyższają istniejące rozwiązania. Tego rodzaju podejście otwiera możliwości bezpiecznego wdrażania systemów AI w czułych domenach, gdzie nie ma możliwości uczyć się przez próby i błędy. Potencjalne zastosowania obejmują inteligentne systemy tutorskie dostosowane do indywidualnych uczniów oraz narzędzia wspierające decyzje kliniczne w opiece zdrowotnej.