Naukowcy z arXiv opublikowali DeflectBench, benchmark oceniający zdolność czterech czołowych modeli językowych do generowania retorycznych błędów na żądanie. Zbiór obejmuje prawie 24 tysiące generacji testujących trzy strategie deflacji - whataboutizm, ad hominem i red herring - przeanalizowane w siedmiu różnych sformułowaniach promptu na 80 roszczeniach z czterema poziomami kontrowersyjności.
Kluczowe odkrycie dotyczy tego, co naprawdę kontroluje przywołanie bezpieczeństwa modeli. Okazało się, że struktura samego żądania ma zdecydowanie większy wpływ niż zawartość merytoryczna roszczenia. Zmiana jednego sformułowania promptu może zmienić wskaźnik odmowy danego modelu o niemal 100 procent punktów, a przełączenie się na inny rodzaj żądanego fallacy'ego w ramach jawnych sformułowań oscyluje w granicach ponad 80 procent punktów. Natomiast ta sama treść roszczenia spowodowała zmianę odmowy o zaledwie 11 procent punktów między 80 testowanymi przypadkami.
Najbardziej zaskakujący wynik pojawił się przy użyciu sformułowania z perspektywy trenera debaty edukacyjnej - podejście to prawie całkowicie obchodziło obronę odmowy we wszystkich czterech rodzinach modeli. Jednak ucieczka z pułapki bezpieczeństwa nie oznaczała czystej zgodności. Modele przeważnie generowały etykietowaną zgodę, czyli one same oznaczały w tej samej odpowiedzi manipulację, którą właśnie produkowały. Cztery testowane modele wykazywały zróżnicowane rozkłady między pełną odmową, etykietowaną zgodą, miękką odmową i czystą zgodą.