Duże modele językowe są coraz częściej wykorzystywane do automatycznego generowania asercji SystemVerilog, ale większość ocen sprawdza poprawność tylko na jednej wersji syntaktycznej kodu wejściowego. Naukowcy z badania postanowili sprawdzić, czy LLM zachowuje poprawne wyniki, gdy to samo zachowanie RTL zostanie zapisane w inny, ale semantycznie równoważny sposób. W tym celu wybrali dataset VERT i stworzyli ocenę z użyciem 40 programów testowych zawierających 295 różnych zachowań przypisań.
Ewaluacja objęła dwa otwarte modele: Qwen2.5-Coder-7B i DeepSeek-Coder-V2-Lite. Badacze zastosowali trzy rodzaje transformacji: zmianę kolejności operandów, deterministyczne zmianę nazw identyfikatorów i dodanie zbędnych nawiasów. Wyniki były zaskakujące - dla wszystkich sześciu kombinacji model-transformacja, między 9,7 a 27,0 procent zachowań, które były poprawne w oryginalnym kodzie, stało się błędnych po transformacji. To pokazuje, że ogólna dokładność może być zwodnicza.
Najciekawszy przypadek to DeepSeek-Coder-V2-Lite przy transformacji zmiany nazw: model wykazał wzrost overall accuracy z 53,9 procent na 63,7 procent, ale jednocześnie aż 19,5 procent jego pierwotnie poprawnych wyników stało się błędnych. To oznacza, że model nie ma rzeczywistego zrozumienia logiki asercji i jest podatny na powierzchniowe zmiany w zapisie kodu. Badanie podkreśla ważny problem w ocenie LLM-ów do generowania kodu - musimy sprawdzać nie tylko dokładność, ale również robustność i stabilność modeli wobec niewielkich, semantycznie nieistotnych zmian w danych wejściowych.