Zespół badaczy zaprezentował Sim2Signal - pierwszy systematyczny benchmark do mierzenia i oceny metod redukujących lukę między symulacją a rzeczywistością w sterowaniu sygnalizacją ruchu. Problem Sim-to-Real jest dobrze znany w robotyce, ale w kontekście inteligentnego sterowania ruchem drogowym nie miał dotychczas standaryzowanego narzędzia do jego badania.
Benchmark rozkłada lukę na cztery komponenty odpowiadające elementom problemu uczenia wzmacniającego: rozbieżności w obserwacjach (sensoryka), wykonaniu akcji (sterowanie światłami), przejściach stanów (dynamika ruchu) oraz funkcji nagrody (cele optymalizacji). Naukowcy testowali 18 różnych metod łagodzenia problemu na dwóch bazowych kontrolerach, w 33 konfiguracjach rozbieżności i 10 sieciach kalibrowanych na podstawie pięciu rzeczywistych lokalizacji. Dane pochodzą z rzeczywistych dane drogowych, co czyni badania praktycznie relewantnym.
Wyniki pokazują, że bezpośredni transfer modelu z symulacji zawsze pogarsza wydajność, ale siła tej degradacji niekoniecznie wskazuje na to, które metody będą skuteczne. Zaskakujące odkrycie: efektywność mitygacji zdecydowanie zależy od konkretnej sieci drogowej i typu rozbieżności - metoda, która działa doskonale na jednym skrzyżowaniu, może całkowicie zawieść na innym. Najbardziej skuteczne podejścia to te szacujące rzeczywisty rozmiar luki, zamiast próbować uczynić politykę sterowania odporną na wszystkie rozbieżności jednocześnie.