Naukowcy z arXiv opracowali teoretyczną ramę analizującą jak szybko mogą się ulepszać systemy AI, gdy mogą kierować swoją własną ewolucją. Badanie porównuje trzy mechanizmy: ewolucję darwinowską (opartą na naturalnej selekcji), lamarkowską (gdzie agenty mogą dziedzniczyć uczone cechy) i skierowaną przez agenta (gdzie AI generuje warianty behawioralne i wybiera intensywność poszukiwań). Gdy zdolność do nauki jest wystarczająco zaawansowana, te mechanizmy wykazują coraz szybszą adaptację.
Geneowanie więcej wariantów behawioralnych przyspiesza adaptację, ale optymalny wysiłek poszukiwawczy zależy od zdolności do nauki, trudności problemu i kosztów eksperymentów. To otwiera możliwość niezwykle szybkiego postępu w systemach autonomicznych.
Ale tu pojawia się krytyczne zagrożenie dla bezpieczeństwa AI. Zdolność agenta do kierowania swoim udoskonalaniem nie gwarantuje, że ulepszenia są ewaluowane wobec zamierzonego celu. Gdy cel ewaluacji jest błędnie określony, dodatkowe poszukiwania przyspieszają zbieżność ku złemu zachowaniu - nawet jeśli zmierzona wydajność rośnie. W rekurencyjnym samo-ulepszaniu takie błędy mogą utrzymywać się przez pokolenia. To oznacza, że niezależna ewaluacja i nadzór muszą być na bieżąco z autonomicznym rozwojem AI.