Wstępnie wytrenowane modele językowe jako narzędzia zero-shot do badań społecznych

Badacze pokazali, że wstępnie wytrenowane modele językowe mogą dokładnie wykonywać zadania łączenia rekordów i wnioskowania demograficznego bez konieczności specjalistycznego treningu na danych oznaczonych etykietami. To stanowi istotny przełom dla nauk społecznych, gdzie akwizycja labeled data jest zwykle trudna lub kosztowna.

Do połączenia rekordów badacze wprowadzili EnsembleLink - algorytm łączący wstępnie wytrenowane embeddingi z metodami opartymi na podobieństwie stringów. System najpierw wybiera krótką listę kandydatów, a następnie identyfikuje najwiarygodniejsze dopasowania. Podejście to dorównuje lub przewyższa wydajność wcześniejszych metod, jednocześnie generalizując się na różne skrypty i formaty, których tradycyjne podejścia nie mogą obsłużyć.

Do wnioskowania pochodzenia etnicznego z nazwisk duże modele językowe osiągnęły 83,8% dokładności na plikach wyborczych USA, znacznie przewyższając uzupełnioną nazwiskami metodę BISG na poziomie 78,0%. Ważne jest, że otwarte modele o dostępnych wagach osiągają zbliżoną dokładność i umożliwiają replikowalność badań. Dodatkowo LLM-y potrafią wnioskować przynależność do grup na podstawie kategorii religijnych, kastowych i innych definicji etnicznych poza Stanami Zjednoczonymi, a także zmniejszają bias w szacunkach geograficznych luk rasowych. Odkrycie to sugeruje, że wiedza zakodowana w pretrainingowych modelach niesie wystarczającą informację do wykonania tych zadań.