Zespół badawczy wprowadził Isharah-Selfie, przełomowy dataset poświęcony arabskiemu językowi migowemu, który został całkowicie zebrany przy użyciu kamer selfie smartfonów w nieograniczonych warunkach rzeczywistych. Zbiór zawiera 8997 klipów wideo wykonanych przez 16 osób znających się na ArSL, obejmujących 1493 unikalne zdania ze sfer zdravia, edukacji i transportu.
Tradycyjne zbiory danych do rozpoznawania języka migowego są zbierane w kontrolowanych studio-style warunkach ze stałymi kamerami, co nie odzwierciedla rzeczywistości codziennego użytkowania. Isharah-Selfie zmienia tę perspektywę, rejestrując miganie jednoręczne, zbliżone ujęcia, częściową widoczność ciała, ruchy kamery i różne rozdzielczości urządzeń - wszystkie cechy charakterystyczne dla naturalnej komunikacji mobilnej. Każdy wideo opisano zarówno sekwencjami gloss do ciągłego rozpoznawania języka migowego (CSLR), jak i tłumaczeniami na język arabski do tłumaczenia języka migowego (SLT).
Dataset definiuje nowe protokoły ewaluacji - niezależne od użytkownika i niezawierające wcześniej niewidzianych zdań - aby ocenić zdolność modeli do generalizacji na nieznanych sygnujących i nowych kompozycjach zdań. Liczne benchmarki wykorzystujące dane RGB i oparte na pozie wykazują, że obecne modele CSLR i SLT stają przed znacznymi wyzwaniami przy pracowaniu z tym rodzajem rzeczywistych, mobilnych danych.