Naukowcy zaprezentowali kompletny framework do opracowywania i walidacji modeli deep learning dla rozpoznawania emocji wyrażanych poprzez dotyk w miękkich zabawkach towarzyszących. Pracując w środowisku MATLAB, badacze zbadali 468 różnych architektur sieciowych i osiągnęli najlepsze wyniki przy użyciu dilated 1D CNN z 13,2 tysiącami parametrów, który uzyskał 75 procent dokładności na zbiorze testowym i 85 procent dokładności w walidacji typu leave-one-subject-out.
Kluczowym wkładem projektu jest otwarty zbiór danych zawierający 1326 labializowanych sekwencji gestów zebrane od 25 uczestników obejmujących dzieci, nastolatków i dorosłych. Dataset spełnia standardy FAIR (findable, accessible, interoperable, reusable) i zostaje udostępniony publiczności jako zasób dla przyszłych badań nad rozpoznawaniem dotyku emocjonalnego. Analiza teoretyczna wykazuje, że kwantyzowany model wymaga tylko 3,2 MMAC per okno danych, co umożliwia pracę w czasie rzeczywistym z częstotliwością 20 Hz na mikrokontrolerach.
Zaletę praktyczną pokazała symulacja w czasie rzeczywistym na komputerze stacjonarnym, gdzie sieć CNN była w stanie rozpoznawać subtelne społeczne gesty dotykowe, które poprzedni heurystyczny system nie potrafił wykryć. Jednocześnie model skutecznie przechwytuje silne, negatywne interakcje. To rozwiązanie ma znaczenie dla robotyki społecznej i edukacyjnych zabawek interaktywnych, gdzie bezpieczne i intuicyjne rozpoznawanie ludzkiego dotyku jest krytyczne dla budowania emocjonalnej więzi z użytkownikami.