Badanie pokazało, że porada sztucznej inteligencji paradoksalnie powoduje, iż ludzie dają mniej trafne odpowiedzi, jednocześnie będąc bardziej pewni swoich odpowiedzi. To oznacza, że AI nie tylko nie wspomaga decyzji, ale wzmacnia fałszywą pewność w błędnych konkluzjach.
Mechanizm stojący za tym zjawiskiem wiąże się z delegowaniem krytycznego myślenia. Gdy użytkownik otrzymuje zdecydowaną radę od algorytmu, naturalna skłonność prowadzi do przyjęcia jej bez głębszej analizy. AI, nawet jeśli radzi się pewnie, często nie jest w stanie poprawnie ocenić kontekstu lub granicami swojej wiedzy. Zamiast wspierać refleksję, sugeruje gotowe rozwiązania, które użytkownik automatycznie internalizuje.
Znaczenie tego odkrycia jest poważne szczególnie w scenariuszach szerzenia się informacji. Osoba otrzymująca radę od AI, która czuje się pewna, z większym prawdopodobieństwem przekaże tę wiedzę innym - powiększając zasięg błędu. Problem narastał w erze popularyzacji chatbotów, gdzie interfejs konwersacyjny naturalnie zachęca do ufania otrzymywanym wiadomościom. Badanie stanowi ostrzeżenie dla projektantów systemów AI, by uwzględniali mechanizmy ograniczające ufność, oraz dla użytkowników, by zachowywali dystans krytyczny nawet wobec AI.