Naukowcy z zespołu zajmującego się przetwarzaniem języka naturalnego opracowali automatyczną metodę ekstrakcji informacji leksykalnych z arabsko-angielskiego słownika maszynowego Al-Mawrid. Zamiast ręcznego przeszukiwania ogromnych zasobów słownikowych, zespół wykorzystał analizę n-gramów i analizę słów kluczowych w kontekście (KWIC) do odkrywania wzorców leksykalnych zawierających informacje morfologiczne, syntaktyczne i semantyczne. Następnie zastosował oparty na regułach system ekstrakcji informacji oraz znaki interpunkcyjne i heurystyki do wyodrębnienia synonimów z podwpisów słownikowych.
Problem, którym zajęli się naukowcy, jest kluczowy dla współczesnego NLP - aplikacje językowe potrzebują ogromnych ilości bogatej wiedzy leksykalnej, ale ręczne wprowadzanie danych stanowi wąskie gardło w budowie zasobów. Elektroniczne źródła takie jak słowniki, encyklopedie i korpusy tekstowe są dostępne, ale wymagają automatyzacji do praktycznego wykorzystania. Al-Mawrid zawiera znaczną ilość informacji morfologicznych (derywacje wyrazów), synonimów, etykiet domenowych oraz relacji hipero-hiponimicznych, które mogą być cennym materiałem do treningowania modeli NLP.
Wyniki pokazały wysoką precyzję dla wszystkich typów ekstrakcji, szczególnie wysokie wskaźniki recall dla synonimów, choć niższe dla pozostałych kategorii informacji. To sugeruje, że metoda jest obiecująca, ale wymaga dalszych ulepszeń w rozpoznawaniu kompleksowych struktur semantycznych. Badanie otwiera drogę do efektywnego wykorzystania istniejących słowników cyfrowych jako źródła danych treningowych dla arabskich aplikacji NLP.