Zespół naukowców opracował MetaSpace, metodę testowania opartą na metamorficznym testowaniu z inżynierii oprogramowania, aby ocenić, czy agenci wcieleni naprawdę rozumieją przestrzeń podczas wykonywania zadań. Problem polega na tym, że obecne podejścia do ewaluacji - ręczne anotacje pytań wizualnych lub proste metryki sukcesu w nawigacji i manipulacji - są albo pracochłonne, albo mogą ukrywać krytyczne słabości. Agent może ukończyć zadanie obchodząc je drogą na skróty lub naruszając bezpieczeństwo, co pozostaje niezauważone w tradycyjnych testach.
MetaSpace zmienia to podejście, automatycznie generując przypadki testowe na podstawie metamorficznych relacji - czyli logicznych reguł i praw fizyki, które muszą być spełnione w każdej sytuacji. Te relacje są kodowane jako wykonywalne reguły w języku Prolog, co pozwala na precyzyjną weryfikację. Kiedy agent narusza któreś z tych relacji, wskazuje to na wadę w jego poznaniu przestrzennym - może to być błędne rozumienie dystansu, orientacji, przejść między pomieszczeniami czy innych aspektów przestrzeni.
Empiryczne testy na trzech scenariuszach - głównie w symulowanych środowiskach dla robotów - wykazały, że MetaSpace skutecznie wykrywa около 90 procent wad w poznaniu przestrzennym. To podejście otwiera nową drogę do testowania agentów wcielonych, skoncentrowaną na fundamentalnych umiejętnościach poznawczych zamiast na zewnętrznych metrykach. Znaczenie tego rozwiązania rośnie wraz z rosnącą liczbą systemów autonomicznych, gdzie błędy w rozumieniu przestrzeni mogą prowadzić do poważnych konsekwencji bezpieczeństwa.