Naukowcy z uniwersytetów prowadzili badanie oceniające, na ile duże modele językowe mogą prawidłowo interpretować specyfikacje protokołów sieciowych w postaci automatów stanów skończonych. Problem jest istotny, ponieważ LLM są coraz częściej używane do generowania mapowań ze specyfikacji tekstowych na formalne reprezentacje, zwłaszcza w kontekście bezpieczeństwa sieci i testowania. Jednak dotychczas nie było jasne, czy modele rzeczywiście rozumieją te specyfikacje na tyle dobrze, by być wiarygodne w takich aplikacjach.
Team przeprowadził szczegółową ewaluację na 16 różnych protokołach sieciowych, opracowując 4 różne typy zadań z łącznie 1482 zapytaniami. Eksperyment polegał na porównaniu reprezentacji automatów stanów generowanych przez LLM z ręcznie utworzonymi modelami referencyjnymi. Badacze analizowali również wpływ bias'ów ewaluatora, trudności poszczególnych zadań, cztery różne typy kontekstu oraz charakterystyki samych protokołów na jakość wyników.
Wyniki wskazują na znaczące luki w zdolności LLM do pełnego zrozumienia specyfikacji sieciowych. Badanie ujawnia skomplikowaną sytuację - różne protokoły i typy zadań prowadzą do bardzo różnych poziomów wydajności. Te ustalenia mają istotne implikacje dla praktyki bezpieczeństwa, bo jeśli LLM nie potrafią niezawodnie mapować specyfikacji na automaty stanów, mogą generować nieprawidłowe lub niekompletne modele, prowadzące do luk w bezpieczeństwie. Praca stanowi krok w kierunku zdefiniowania granic zaufania do LLM w krytycznych aplikacjach inżynierii protokołów.