Zespół naukowców przedstawił pierwszy test zdolności superinteligencji wykorzystujący duże modele językowe jako maszyny referencyjne. Problem tradycyjnych benchmarków polega na tym, że gdy systemy AI stają się coraz bardziej zaawansowane, testy kalibrowane względem ludzi czy obecnych modeli szybko tracą przydatność. Zaproponowana metoda opiera się na teorii komplejności Levina-Kt - komputacyjnym wariancie złożoności Kołmogorowa - która pozwala teoretycznie ograniczyć trudność zadań w oparciu o złożoność mechanizmu leżącego u jego podstaw.
Innowacyjność podejścia polega na tym, że zamiast minimalnych uniwersalnych maszyn Turinga z ograniczonymi możliwościami reprezentacji, autorzy wykorzystują duże modele językowe jako maszyny obliczeniowe. Te systemy zawierają w sobie kompendium ludzkiej kultury i wiedzy, a prompty funkcjonują jako naturalnie-języczne programy. Taki schemat umożliwia generowanie zadań o przedyskutowanej trudności - mierzonej w bitach skali ilorazowej - zanim jakikolwiek obecny model czy człowiek będzie w stanie je rozwiązać.
Podejście ma znaczący potencjał dla rozwoju testów zdolności przyszłych, bardziej zaawansowanych systemów AI. Zamiast czekać na to, że AI osiągnie superinteligencję, naukowcy mogą preemptywnie konstruować testy o mierzalnej trudności. Autorzy opracowali lekką pipeline'ę generowania i certyfikacji nowych elementów testowych, otwierając możliwość ciągłego tworzenia wyzwań dostosowanych do rosnących zdolności sztucznej inteligencji.