Badacze opublikowali w arXiv nową pracę proponującą pierwszy ustandaryzowany framework do specyfikacji harnessu - infrastruktury otaczającej duże modele językowe. Harness to zespół systemów, które determinują, co model może osiągnąć i jak się zawodzi, ale dotychczas brakował mu jednolitej definicji.
Problemu nie można ignorować: badania pokazują, że różne konfiguracje infrastruktury mogą prowadzić do różnic kilkakrotnie wyższych w raportowanych wynikach dla tego samego modelu. Dodatkowo, znaczna część powierzchni ataku agenta i wektory zagrożeń znajdują się właśnie w haressie, a nie w samym modelu. Istniejące model cards i agent cards zawierają informacje o wydaniu i operacyjne, ale nie dokumentują sekwencji efektywnych konfiguracji w trakcie działania systemu.
Proponowany framework rozkłada harness na osiem funkcjonalnych komponentów, które można specyfikować i porównywać między systemami. Takie podejście ma znaczenie dla regulacji - choć istniejące ustawy dotyczące sztucznej inteligencji nakładają obowiązki dokumentacji na objęte systemy, nie prescribują standaryzowanego zapisu harnessu. Framework ten pozwoli traktować infrastrukturę jako wersjowaną część systemu i zapewni porównywalność badań oraz przejrzystość dla celów zgodności prawnej.