Projekt badawczy ocenił trzy podejścia NLP - Named Entity Recognition, Keyword Extraction i Topic Modelling - do automatycznej ekstrakcji słów kluczowych w zbiorach crowdsourcingowych. Naukowcy testowali te metody na archiwum Their Finest Hour Online Archive, będącym crowdsourcingową kolekcją cyfrową poświęconą II wojnie światowej, hostowaną przez Uniwersytet Oksfordzki. Badanie obejmowało zarówno tradycyjne metody statystyczne, jak i nowoczesne sieci neuronowe GenAI.
Wyniki wskazują, że Natural Language Processing rzeczywiście oferuje potencjał do skalowania ekstrakcji słów kluczowych w zbiorach crowdsourcingowych. Jednak badanie ujawniło krytyczne spostrzeżenie: żadna pojedyncza metoda nie stanowi kompleksowego rozwiązania, a wybór modelu znacząco kształtuje uzyskane wyniki. To oznacza, że wdrażanie automatyzacji wymaga starannego rozważenia konkretnego kontekstu i celów projektu.
Badacze podkreślają, że crowdsourcingowe kolekcje mają specyficzne wymagania dotyczące opieki metadanych - są bowiem bezpośrednim produktem zaangażowania żywych współpracowników. W tym kontekście ekstrakcja słów kluczowych przez AI stwarza wyraźne odpowiedzialności etyczne. Z przeprowadzonej ewaluacji wynika, że otwarte, ekstrakcyjne modele są najlepiej pozycjonowane do odpowiedzialnego wdrażania. Generatywna AI, mimo swojego potencjału abstrakcyjnego, wprowadza ryzyka związane z odpowiedzialnością, które muszą być rozwiązane przez zespoły zarządzające zbiorami crowdsourcingowymi.