Badacz z arXiv zaproponował nowe ramy do mierzenia czasu oszczędzanego przez asystentów AI, stawiając pytanie: czy liczy się rzeczywisty zysk, czy wyłącznie liczby na stopersie? Tradycyjne podejście fokusuje się na tempo - ile minut AI zaoszczędza. Jednak autor argumentuje, że to niepełny obraz, bo assistenci popełniają błędy, które mogą przejść przez kontrolę jakości, generując ukryte koszty.
Proponowana metodologia wprowadza dwie kluczowe miary: czas oszczędzony oraz wskaźnik wycieków defektów - błędów, które system przepuścił niezauważonym. Autor definiuje też liczbę decyzyjną - koszt break-even defektu, który pokazuje, przy jakim poziomie błędów oszczędzanie czasu staje się stratą netto. Kluczowe odkrycie: jeśli model popełnia błędy, pracownik musi je sprawdzać. Aż dopóki model nie będzie wystarczająco dobry, szybkość pracy nie zależy od jego jakości - ale rosnie czas spędzony na weryfikacji.
Nauka z rzeczywistych badań jest druzgocząca dla optymistów. Replikacja studium METR z danymi o 246 zgłoszeniach pokazuje zamieszanie w interpretacji: w zależności od metodyki pomiaru AI przyspieszyła pracę o 3-82 procent lub spowolniła o 19-24 procent. Dla modelu GPT-5 w workflow'u wymagającym przeglądu każdego outputu maksymalny przyspieszenie wyniesie zaledwie 3,6 raza - ograniczone koniecznością weryfikacji. Konsultanci poza frontem innovacji okazali się szybsi, ale źle wykonywali pracę. To sugeruje, że skok prędkości bez uwzględnienia błędów to iluzja, a realne oszczędności czasowe zależą całkowicie od tego, ile defektów możemy tolerować.