Badanie z platformy Mercor ujawniło znaczący problem w sposobie oceny zdolności modeli AI - aż 90 procent czasu pracy amerykańskich pracowników poświęcane jest na zadania, które nie są prawidłowo reprezentowane w popularnych benchmarkach sztucznej inteligencji. To oznacza, że mierniki takie jak performance na zbiorach testowych mogą nie oddawać rzeczywistej użyteczności AI w codziennej pracy.
Standardowe benchmarki AI tradycyjnie skupiają się na wymierne, dyskretne zadania - takie jak klasyfikacja obrazów, odpowiadanie na pytania zamknięte czy tłumaczenie. Tymczasem znaczna część pracy zawodowej wiąże się z bardziej złożonymi, niestrukturalnymi wyzwaniami: negocjacjami, kreacją zawartości, rozwiązywaniem problemów wymagającym kontekstu, planowaniem długoterminowym czy budowaniem relacji. Te elementy są trudne do zmierzenia i porównania za pomocą konwencjonalnych metryk.
Wniosek z badania ma poważne implikacje dla branży AI. Jeśli benchmarki nie odzwierciedlają rzeczywistości pracy, to ewaluacja modeli może być myląca dla inwestorów i przedsiębiorstw decydujących się na wdrażanie nowych rozwiązań. To zwraca uwagę na potrzebę opracowania lepszych sposobów testowania AI, bardziej zbliżonych do rzeczywistych zadań wykonywanych przez ludzi w biurach, fabrikach i agencjach.