Artykuł z Substack'a Łukasza Lammertsa (znanego badacza bezpieczeństwa AI) zwraca uwagę na niepokojący trend - książki dla dzieci generowane przez modele AI często zawierają przerażające i nieprzyjemne elementy wizualne, pomimo że prompt'y wydają się całkowicie niewinne.
Problem tkwi w sposobie, w jaki modele graficzne trenuje się na miliardach obrazów z internetu. Uczą się one statystycznych powiązań między słowami a pixelami, ale te powiązania nie zawsze prowadzą do oczekiwanych rezultatów. Kiedy użytkownik poprosi o "uśmiechniętego słonia" czy "szczęśliwą rodzinę", model może generować anatomicznie nieprawdopodobne, groteskowe postacie z elementami body horror'u - przemieszane kończyny, rozmyte twarze, nienatural ruchy. To nie jest intencjonalne, ale emergentna właściwość sieci neuronowych.
Zagadnienie jest ważne z kilku powodów. Po pierwsze, rosnąca liczba samopublikowanych książek dla dzieci na platformach takich jak Amazon wykorzystuje do ilustracji właśnie generatory AI bez żadnych kontroli jakości. Po drugie, dostrzeżenie tego problemu pokazuje, że bezpieczeństwo generatywnych modeli AI pozostaje niedorozwinięte - nawet systemy zatwierdzane do użytku ogólnego mogą generować treści nieodpowiednie dla pewnych grup odbiorców. Po trzecie, to przypomina, że AI nie "rozumie" kontekstu czy intencji użytkownika, tylko uczy się ze statystyczną precyzją tego, jak pixele wyglądały w zbiorach treningowych.