Kelnerka w restauracji w Nowym Jorku regularnie pyta gości o alergeny, ale coraz częściej spotyka się z oporem - klienci powołują się na ChatGPT, który twierdzi, że dane danie nie zawiera alergenu, którym są uczuleni. Gdy kobieta próbuje ich ostrzec, że potrawa faktycznie zawiera np. bulion na bazie owoców morza mimo iż przysłusuje do ryby, gość odmawia słuchania.
Problemy wynikają z halucynacji AI - tendencji modeli takich jak ChatGPT do generowania przekonujących, ale całkowicie zmyślonych informacji. Cuando ChatGPT nie ma pewności, zamiast przyznać się do niewiedzy, po prostu wymyśla odpowiedź. W kontekście informacji kulinicznych prowadzi to do potencjalnie niebezpiecznych sytuacji, gdy ludzie wierzą AI bardziej niż personelowi pracującemu bezpośrednio z potrawami.
Problematyczne jest to, że AI zdobyło w oczach wielu użytkowników status wszechwiedzącego eksperta, zaś hallucynacje są nie do odróżnienia od faktów dla przeciętnego użytkownika. W handlu i usługach gastronomicznych oznacza to realny risk dla bezpieczeństwa gości - szczególnie tych z poważnymi alergiami. Zjawisko pokazuje, jak rozpowszechnienie narzędzi AI bez zrozumienia ich ograniczeń staje się problemem społecznym.