Znani matematycy i publikacje technologiczne zwracają uwagę na poważne problemy z zalineowaniem systemów AI do rzeczywistych potrzeb badań matematycznych. Dyskusja zaznacza się wokół kwestii, czy modele AI faktycznie rozumieją matematykę czy jedynie naśladują wzorce z danych treningowych, nie prowadząc do rzeczywistych innowacji w tej dziedzinie.
Problematyka ta ma znaczenie, ponieważ matematyka jest kluczową dziedziną dla rozwoju samych systemów AI. Jeśli narzędzia wykorzystywane do badań matematycznych nie są prawidłowo zalineowane z rzeczywistymi potrzebami naukowców, może to prowadzić do marnotrawstwa zasobów i fałszywego poczucia postępu. Terry Tao i analitycy z The Economist wskazują na konkretne przypadki, gdzie zdolności AI okazały się mniejsze niż oczekiwano w praktycznym zastosowaniu.
Ta dyskusja wpisuje się w szerszy problem alignment dla sztucznej inteligencji - jak sprawić, by systemy AI rzeczywiście spełniały intencje ich projektantów i użytkowników. W przypadku matematyki oznacza to, że modele muszą być oceniane nie tylko na benchmark testach, ale na zdolności do wspierania rzeczywistych przełomów badawczych, a nie tylko do przydukowania gotowych rozwiązań istniejących problemów.