Komisja Europejska, a konkretnie jej Dyrekcja Generalna do spraw Tłumaczeń (DGT), podjęła się ambitnego zadania zaadaptowania popularne benchmarku MMLU dla 11 języków europejskich. Współpracuje w tym projekcie z Europejską Siecią Edukacji Tłumaczy (EMT), która skupia uniwersytety kształcące tłumaczy. Celem jest stworzenie bardziej reprezentatywnego narzędzia do testowania możliwości dużych modeli językowych poza anglojęzycznym światem.
Projekt ma podwójny charakter - naukowy i edukacyjny. Z jednej strony, wdrażanie lokalnych wersji MMLU będzie badaniem tego, jak modele radzą sobie z wiedzą specyficzną dla danego języka i kultury. Z drugiej, master students uczestniczący w lokalizacji zyskują praktykę zawodową w tłumaczeniu technicznym, rewizji tekstów, zarządzaniu projektami i koordynacji między zespołami o różnych czasowych strefach. To autentyczne doświadczenie zawodowe zamiast tradycyjnych ćwiczeń.
Papier opisuje jednak również wiele trudności, które napotkano - od wyzwań metodologicznych (jak tłumaczyć pytania wiedzy faktycznej bez zmiany ich sensu), przez kwestie administracyjne (koordynacja pracy rozrzuconych zespołów), aż po problemy z workflow (wersjonowanie, Quality Assurance). Badacze dzielą się tymi spostrzeżeniami, aby inni projektujący podobne inicjatywy mogli się od nich uczyć.