Naukowcy z arXiv przetestowali możliwość zastosowania dużych modeli języków do generowania operacyjnie realistycznych transmisji kontroli ruchu lotniczego. W badaniu wykorzystano rzeczywisty zapis lotu nad Bay Tour w San Francisco jako podstawę do oceny, a następnie stworzono pięć wariantów promptów o rosnącym stopniu szczegółowości, które testowano na dziewięciu modelach LLM zarówno open-source, jak i komercyjnych.
Kluczowym elementem eksperymentu była obserwacja, jak modele radzą sobie z multi-turnowym dialogiem, gdzie musiały generować kolejne transmisje, biorąc pod uwagę historię rozmowy. Naukowcy przetestowali różne strategie: dostarczanie przykładów z innych lotów w kontekście, zmianę struktury instrukcji oraz warianty, w których model opierał się na własnych poprzednich odpowiedziach lub na poprawnej historii wstawionej sztucznie. Wyniki oceniano przy pomocy metryk leksykalnych, strukturalnych i semantycznych, a także przy wsparciu GPT-4o-turbo jako "sędziego" - ta ocena była następnie walidowana przez eksperta z branży lotniczej.
Wykryty został interesujący paradoks: najprostsze prompty zadziałały najlepiej, podczas gdy bardziej złożone i szczegółowe instrukcje prowadziły do spadku wydajności, szczególnie wraz z akumulacją błędów w trakcie dialogu. Dostarczanie pracujących przykładów z innych lotów rzeczywiście poprawiało podobieństwo odpowiedzi, ale głównie wtedy, gdy model miał dostęp do poprawnej historii poprzednich wypowiedzi. Badanie wskazuje na konkretną ścieżkę integracji LLM w systemach ATC, ale również na obecne ograniczenia tych modeli w tak krytycznych dla bezpieczeństwa zastosowaniach.