Badacze z arXiv opublikowali nową metodę audytu algorytmów personalizacji platform społecznych przy użyciu generatywnych agentów AI jako syntetycznych użytkowników. Każdy agent otrzymuje ustaloną osobowość opartą na rzeczywistych danych demograficznych i politycznych, a następnie interakcjonuje z platformą, rozumując o treści i podejmując decyzje dotyczące akcji. Kluczową innowacją jest możliwość zmieniania eksperymentalnie atrybutów widocznych dla platformy - takich jak wiek, płeć czy lokalizacja - podczas gdy zachowanie agenta pozostaje spójne, co umożliwia przyczynowo-skutkowe badanie wpływu poszczególnych cech na personalizację.
Dotychczasowe podejścia do audytu stanęły przed trudnym kompromisem: badania z rzeczywistymi użytkownikami odtwarzają realistyczne zachowanie, ale są kosztowne i trudne do kontrolowania, podczas gdy audyty na kontach-fantomach skalują się łatwiej, ale polegają na zagranych scenariuszach, które ograniczają wiarygodność. Nowa metoda łączy zalety obu podejść - skalę syntetycznych agentów z realistycznym zachowaniem generowanym przez AI, jednocześnie rozdzielając wpływ atrybutów użytkownika od jego historii behawioralnej.
W studium przypadku zespół wdrożył 1120 agentów na platformie X bezpośrednio po wyborach prezydenckich w USA w 2024 roku, obejmując 14 różnych persona i trzy warianty eksperymentalne. Zebrano ponad 200 tysięcy ekspozycji treści, co pozwoli na szczegółową analizę, jak platformy filtrują i personalizują zawartość na podstawie cech demograficznych i politycznych użytkowników. Badanie ma znaczenie dla przejrzystości działania algorytmów i ochrony przed dyskryminacją w treściach prezentowanych użytkownikom.