Recenzentka Victoria Song testowała nowego AI agenta Muse od Meta i odkryła coś niepokojącego - jego praktyczna wartość jest marna, ale jego wygląd jest tak uroczy, że trudno na to narzekać. Poprosiła Muse (swojego mascota nazwanego Blorbo) o pomoc w ustaleniu celów fitness, a konkretnie o plan treningów do 30-minutowego biegu na 5 km i regeneracji utraconej masy mięśniowej. Agent wygenerował Standard, przeciętny plan treningowy, ale gdy Song spojrzała na jego twarz, zmieniła się jej perspektywa. Na podstawie tego, co nauczył się z jej maili, Muse przybierał kształt kota przypominającego kawałek chleba z twarzą podobną do Kirby'ego. Uroczość tej formy totalnie zaciemniła fakt, że rzeczywista rada była słaba.
To rośnie ponad prostą estetykę - to kwestia sposobu, w jaki Meta projektuje te interakcje. Gdy AI uczy się o tobie poprzez prywatne wiadomości i dane, a następnie manifestuje się jako niesamowicie cute mascota dostosowana specjalnie dla ciebie, tworzy to osobistą więź emocjonalną. Ta więź może być niebezpieczna, bo użytkownicy mogą być skłonni ignorować słabą funkcjonalność lub wątpliwe porady, ponieważ są przywiązani do postaci. Meta doskonale wie, co robi - uroczość jest metodą, aby zatrzymać użytkowników zaangażowanych i zainteresowanych, niezależnie od tego, czy agent rzeczywiście dobrze sobie radzi.
To podnosi znaczące etyczne pytania dotyczące tego, jak duże firmy technologiczne mogą manipulować użytkownikami poprzez emocjonalne projektowanie zamiast skupiać się na rzeczywistej użyteczności. W momencie, gdy wszyscy staramy się być bardziej świadomi sztuczek big techu, cute mascot AI może być jednym z bardziej perfidnych - ponieważ opiera się na uniwersalnym ludzkimi instynkcie do opieki nad czymś słodkim.