Naukowcy zbadali, jak formulowanie pytań wpływa na wydajność lokalnych modeli GPT w tłumaczeniu maszynowym - konkretnie, czy zamiast pytać model o tłumaczenie jednego zdania na jeden język, lepiej jest prosić go o wiele tłumaczeń jednocześnie. Testowali trzy popularne otwarte modele: llama3.2:3b (3 miliardy parametrów), mistral:latest i qwen2.5:14b w porównaniu ze specjalistycznymi systemami OPUS-MT i NLLB-200 na tłumaczeniu z angielskiego na osiem języków europejskich (romańskie i germańskie). Eksperyment objął zarówno tłumaczenie bez przykładów (zero-shot), jak i z pięcioma przykładami (few-shot), testując różne sposoby ich doboru.
Zaskakującym wynikiem było to, że dedykowane systemy translacyjne pozostają silniejsze od LLM-ów, zwłaszcza dla języków germańskich. Jednak few-shot prompting miał zmienny wpływ: pomógł słabszym modelom mistral i qwen2.5:14b, ale zaskakująco pogorszył rezultaty dla llama3.2:3b. Najlepszym sposobem na wybór przykładów okazała się strategia oparta na embeddings (reprezentacjach numerycznych znaczenia tekstu), choć jej przewaga nad losowym wyborem była umiarkowana. Badanie pokazuje, że lokalne LLM-y mogą być praktyczne do tłumaczenia, gdy nie ma dostępu do sieci, ale mają ograniczenia w obsłudze bardziej skomplikowanych poleceń.
Ważny odkrycie dotyczy tzw. family-scope promptów - poleceń w formacie JSON żądających jednorazowo tłumaczenia na wszystkie języki z danej grupy. Silniejsze modele potrafiły to obsłużyć, ale mniejsze systemy miały problemy z generowaniem prawidłowo sformatowanych odpowiedzi. To sugeruje, że wybór konkretnego modelu i sposób sformułowania pytania mogą drastycznie zmienić jakość tłumaczenia.