Naukowcy z obszaru modelowania i symulacji przeprowadzili badanie mające na celu sprawdzenie, jak sztuczna inteligencja może ułatwić wyszukiwanie modeli symulacyjnych. Problem jest realny: gdy istnieje wiele modeli, trudno jest szybko znaleźć te, które pasują do konkretnego celu badawczego czy inżynieryjnego. Zespół przetestował różne podejścia wykorzystując transformerowe modele embedding'ów oraz strategie retrieval-based, aby odpowiadać na zapytania sformułowane w naturalnym języku.
Badacze ocenili swoje rozwiązanie przy użyciu standardowych metryk z information retrieval - zwłaszcza recall@5 (czy właściwy model znalazł się w top 5 wyników) i nDCG@5 (miara, która uwzględnia pozycję rankingową). Okazało się, że sposób reprezentacji danych rzeczywiście wpływa na wyniki - niektóre formaty działały znacznie lepiej niż inne. Równie ważnym odkryciem było stwierdzenie, że otwarte modele embedding'ów mogą osiągać wydajność porównywalną z proprietary'mi rozwiązaniami, co jest dobrą wiadomością dla otwartej nauki. Metody reranking'u okazały się szczególnie istotne przy bardziej złożonych zapytaniach.
To badanie stanowi punkt wyjścia dla praktycznego wdrażania AI w odkrywaniu modeli symulacyjnych. Ma także szersze znaczenie dla całego ekosystemu modelowania - lepsze narzędzia do znajdowania istniejących modeli mogą przyspieszyć rozwój AI-napędzanej interoperacyjności między różnymi systemami i umożliwić łatwą kombinację istniejących rozwiązań w nowe, bardziej złożone modele.