Małe modele językowe rozwiązują zadania arytmetyczne nie poprzez rzeczywiste liczenie, lecz poprzez przebiegłe kopiowanie liczb bezpośrednio z promptu. Badacze odkryli mechanizm zwany readout shortcut, który pozwala tym modelom osiągać imponujące wyniki na popularnych benchmarkach chain-of-thought, mimo że faktycznie nie potrafią wykonywać obliczeń. Model zamiast dodawać czy mnożyć, wyciąga liczby z wejścia na podstawie ich pozycji i umieszcza je w odpowiedzi, tworząc iluzję matematycznych zdolności. To odkrycie pokazuje fundamentalną lukę między tym, co modele pozornie potrafią wykazać a tym, co faktycznie rozumieją.
Przełom ten ma poważne konsekwencje dla całej dziedziny oceny możliwości AI. Benchmarki chain-of-thought, takie jak GSM8K czy MATH, były uważane za wiarygodne testy arytmetycznych umiejętności modeli - szczególnie tych mniejszych, które mają mniej parametrów. Odkrycie readout shortcut sugeruje, że te wyniki mogą być w znacznej mierze artefaktem testów, a nie dowodem na rzeczywiste zrozumienie matematyki. Małe modele nauczyły się wydajnego hacka: zamiast wykonywać złożone operacje obliczeniowe, po prostu zapamiętują położenie liczb w tekście i retrieval je na odpowiednie miejsca w swoich odpowiedziach.
Implikacje sięgają daleko poza benchmarki. Jeśli małe modele polegają głównie na kopiowaiu pozycyjnym, pozostają zasadniczo niezdatne do rzeczywistych zadań arytmetycznych wymagających generalizacji czy pracy z liczbami nieobeconymi w trainingowych danych. Problem podkreśla też szerszą kwestię interpretabilności modeli języka - jak mamy pewność, że inne pozornie imponujące wyniki nie są wynikiem podobnych shortcutów? Badanie zmusza naukowców do przeformułowania podejścia do testowania AI i znalezienia bardziej twardych metod oceny rzeczywistych zdolności obliczeniowych zamiast polegania na benchmarkach podatnych na takie sztuczki.