Transformery rekurencyjne mogą skutecznie zastępować drogi symulacyjne obliczenia w projektowaniu układów scalonych. Naukowcy porównali trzy podejścia - model Tiny Recursive, zaproponowany Depth Recursive transformer oraz prosty transformer rekurencyjny - oceniając ich wydajność predykcyjną, liczbę parametrów i złożoność obliczeniową w FLOP-ach.
Problem polega na tym, że standardowe architektury transformerów zawierają zbyt wiele parametrów do uczenia dla typowych zbiorów danych inżynierskich, które są małe i niskowymiarowe. Nadmiar zdolności parametrycznych powoduje przeuczenie się modelu zamiast poprawy dokładności, jednocześnie generując niezbędne obciążenie obliczeniowe i pamięciowe. To szczególnie kłopotliwe w inżynierii, gdzie generowanie dużych zbiorów danych symulacyjnych jest bardzo kosztowne.
Badanie sprawdza te architektury na zadaniu analizy niezawodności termomechanicznej zaawansowanych pakietów półprzewodnikowych, gdzie należy wielokrotnie oceniać naprężenia i odkształcenia wynikające z cykli termicznych. Rekurencyjne podejście pozwala na wydajniejsze wykorzystanie zasobów obliczeniowych, oferując praktyczne wytyczne do wyboru architektur w scenariuszach z ograniczonymi zasobami - kluczowe dla wdrożeń edge computing i optymalizacji kosztów projektowania.