Naukowcy opracowali nowy test o nazwie Math Takes Two, który sprawdza, jak dobrze modele AI potrafią rozumować matematycznie, gdy muszą komunikować się ze sobą. To znaczące odejście od tradycyjnych benchmarków, które oceniają zdolności matematyczne agentów pracujących w izolacji. Test weryfikuje, czy systemy AI mogą nie tylko rozwiązywać skomplikowane zadania matematyczne, ale też efektywnie przekazywać sobie informacje potrzebne do znalezienia rozwiązania.
Pomysł stoi za tym taki: w realnym świecie rozwiązywanie problemów rzadko odbywa się bez komunikacji. Agenci czy zespoły muszą dzielić się wiedzą, zadawać pytania i wspólnie dochodzić do wniosków. Math Takes Two symuluje właśnie takie scenariusze, gdzie jeden model AI musi wyjaśnić drugiemu pewne aspekty problemu, a drugi musi na tej podstawie dojść do prawidłowego wyniku. To otwiera nowe pytanie: czy obecne duże modele językowe, takie jak GPT-4 czy Claude, rzeczywiście potrafią być użytecznym partnerem w rozwiązywaniu złożonych zadań, czy tylko grają w matematykę?
Wyniki takiego badania mogą mieć spore implikacje dla przyszłości sztucznej inteligencji używanej w nauce, edukacji czy biznesie. Jeśli modele nie radzą sobie z przekazywaniem matematycznego rozumowania innym systemom, to oznacza lukę, którą trzeba będzie zamknąć. Test Math Takes Two staje się więc ważnym narzędziem do oceny rzeczywistych zdolności AI w scenariuszach bliższych rzeczywistym aplikacjom, a nie tylko sztucznym laboratoryjnym warunkom.