Naukowcy opracowali nową metodę do testowania możliwości najnowocześniejszych modeli AI w warunkach zbliżonych do rzeczywistości, gdzie systemy napotykają zadania, które wcześniej nigdy nie widziały. Problem tkwi w tym, że dotychczasowe benchmarki zdolności sztucznej inteligencji działają na znanych wcześniej zestawach testowych - co niestety nie pokazuje, jak modele radzą sobie naprawdę z nowymi, nieznanymichwytami. Ta luka w metodologii oceny jest kluczowa, bo w praktyce użytkownicy zaś każdą godzinę rzucają systemom AI wyzwania, które twórcy nie mogli przywidiać przy projektowaniu.
Propozycja badaczy dotyczy tak zwanych środowisk otwartych, czyli scenariuszy gdzie zadania przychodzą bez uprzedzenia, podobnie jak w rzeczywistym świecie. Zamiast polegać na ustandaryzowanych testach, naukowcy sugerują ewaluację modeli w bardziej dynamicznych warunkach. To podejście lepiej oddaje faktyczne wykorzystanie frontier modeli - czy to Claude'a, GPT-4, czy Gemini - które mają działać w nieprzewidywalnych sytuacjach, a nie na sztywnych zestawach przykładów przygotowanych przez badaczy.
Jeśli ta metodologia ugruntuje się w branży, może zmienić sposób, w jaki inżynierowie mierzą postęp AI. Firmy takie jak OpenAI, Anthropic czy Google będą musiały przejść do bardziej rygorystycznych testów, a wyniki mogą pokazać, że nawet zdolne modele mają jeszcze sporo braków. To z kolei wpłynie na kierunek razvoju kolejnych generacji systemów - będą bardziej zorientowane na elastyczność i adaptacyjność niż na przebijanie się przez znane testy.