Google DeepMind inwestuje zasoby w zbadanie zagrożeń, które mogą pojawić się w momencie, gdy miliony agentów AI zaczną współdziałać ze sobą online. Według Rohina Shaha, który kieruje badaniami nad bezpieczeństwem i wyrównaniem AGI w firmie, pojawienie się na rynku masowym agentów zdolnych do autonomicznego wykonywania zadań bez nadzoru człowieka stanowi zupełnie nową wyzwanie bezpieczeństwa.
Do tej pory badania nad AI skupiały się głównie na pojedynczych systemach lub kontrolowanych środowiskach. Problem pojawia się, gdy autonomiczne agenty mogą otrzymywać instrukcje od siebie nawzajem i działać w ramach złożonych ekosystemów cyfrowych. Skalowanie od kilku systemów do milionów potencjalnie stworzy nieprzewidziane emergentnne zachowania i interakcje, które mogą być trudne do monitorowania lub kontrolowania.
To badanie jest kluczowe dla przyszłości AI, ponieważ każdą chwilę agenty stają się bardziej niezależne. Firmy rozwijają systemy, które mogą wykonywać rzeczywiste zadania biznesowe bez ciągłej interwencji człowieka. Jeśli takie systemy będą komunikować się i współpracować ze sobą w skali masowej, może to prowadzić do niepożądanych kaskad efektów, błędnych informacji rozprzestrzeniających się w sieci czy wręcz działań sprzecznych z intencjami ich twórców.