Badacze z arxiv potwierdzili w preregistrowanym eksperymencie, że ukrywanie części danych przed modułami w systemie ulepszy jego zdolność do uczenia się kompozycyjnego uogólniania. Studium zaangażowało 64 czterokomorowe systemy ze wspólnym, zamrożonym backbone'em modelu językowego, komunikujące się przez nauczone pakiety ciągłe.
Eksperymenty testowały pięć warunków - różne poziomy maskowania danych, markery własności i zastępowanie obcych informacji neutralnymi wypełniaczami - na sześciu klastrach inicjalizacyjnych z dwoma porządkami danych na nowym świecie zadań. Kluczowy rezultat: maskowanie poprawiło dokładność na niewidocznych wcześniej dwu- i trzygeneracyjnych kompozycjach o mediany wynik 0.846 i 0.859. Wszystkie dwanaście par testów przeszły wymagane marginesy, a pełne preregistrowane kryterium behawioralne się powodło. Replikacja bez markerów również się udała.
Interwencje w paczetach wszystkich 18 audytowanych maskowanych systemów podążyły za przewidywanymi zmianami wartości pośrednich w kwalifikowalnych przypadkach. Wyniki potwierdzają dużą przewagę testowanego reżimu maskowania, jednak precyzyjne atrybuowanie efektu i jego uogólnialność na inne zadania pozostają nierozstrzygnięte. Naukowcy opublikowali wszystkie protokoły, wyniki i checkpointy.