Naukowcy opracowali Review Arcade - narzędzie pozwalające sprawdzić, czy recenzje pisane przez sztuczne inteligencję rzeczywiście odpowiadają oczekiwaniom ludzi i są dla nich przydatne. Problem, którym się zajęli, jest poważny: duże modele językowe (LLM) takie jak GPT czy Claude często wymyślają szczegóły, przeinaczają fakty albo generują treść, która brzmi przekonująco, ale jest całkowicie fałszywa. W kontekście recenzji produktów może to prowadzić do tego, że konsumenci podejmą źle poinformowane decyzje zakupowe na podstawie zmyślonych opinii sztucznie wygenerowanych.
Badacze zaproponowali nowy sposób mierzenia jakości takich recenzji - nie tylko pod kątem zgodności z rzeczywistością (czyli unikania halucynacji), ale przede wszystkim przydatności dla czytelnika. Nazwa "Review Arcade" sugeruje interaktywne testowanie: platforma pozwala ocenić, czy wygenerowana recenzja jest faktycznie wiarygodna, czy zawiera przydatne informacje i czy użytkownik mógłby na jej podstawie rzeczywiście podejść dobrą decyzję. To istotne rozróżnienie - czasem AI generuje treść, która brzmi naturalnie, lecz zawiera błędy, a czasem treść jest dokładna, ale słabo napisana i niezrozumiała dla odbiorcy.
Wyniki tego badania mogą zmienić sposób, w jaki rozwijamy systemy rekomendacyjne i platformy e-commerce, które coraz chętniej sięgają po AI do generowania treści. Jeśli nauczymy się precyzyjnie mierzyć, kiedy sztuczna inteligencja rzeczywiście pomaga, a kiedy wprowadza w błąd, będziemy mogli budować bardziej godne zaufania narzędzia. To także ważna lekcja dla całej branży generowania treści przez LLM - sama płynność i naturalność tekstu to za mało, jeśli kończy się na zmyśleniach i nieprawdziwych faktach.