Naukowcy z arXiv opublikowali badanie, które precyzuje, jak powinna działać regulacja AI oparta na ryzyku wdrażania i w jaki sposób można mierzyć rzeczywistą zgodność systemów w praktyce. Zamiast polegać na pojedynczych wynikach benchmarków, autorzy proponują traktować zgodność jako rozkład wskaźników niepowodzeń obserwowanych pod rzeczywistą dystrybucją scenariuszy użytkowania, ograniczoną zakresem i podlegającą wygaśnięciu.
Praca bada interakcje strategiczne między trzema stronami: wdrażającym system, audytorem oraz instancją egzekwującą przepisy. Kluczowe pytania, na które odpowiadają autorzy, to czy zadeklarowana mieszanka kontekstów może być uczyniona wiarygodną, czy audyt może być bezstronny wobec systemu wykrywającego ruch ewaluacyjny, czy budżet błędów certyfikacji może wspierać długotrwałe wdrażanie, czy audyt zbiorczy może wspierać gwarancje per-podgrupa oraz czy metryka zdarzeń liczy porażki systemu w właściwy sposób. Dla każdego zagadnienia pracownicy proponują konkretne mechanizmy - od proper-scoring penalt na zadeklarowanej mieszance, przez audyty commit-reveal wyciągane z ruchu na żywo, aż po systemy inwestycji alfa do utrzymywania pokrycia certyfikacji.
Wyniki mają istotne znaczenie dla przejścia z teorii do praktyki regulacji AI. Pokazują, że regulacja oparta na ryzyku wdrażania wymaga sprecyzowanego paradygmatu, w którym zgodność nie jest binarna, lecz rozkładem gwarantowanym przez prawidłowo zaprojektowane zachęty. Badanie stanowi mostek między akademickymi modelami regulacji a rzeczywistymi wyzwaniami audytu systemów AI w produkcji, gdzie możliwe jest wykrycie i obejście mechanizmów ewaluacji.