MARQ: system do oceny jakości wymagań z wiedzą inżynieryjną dla każdego LLM

Zespół badaczy zaprezentował MARQ, system wspomagający ocenę jakości wymagań inżynieryjnych dla każdego dużego modelu językowego. Zamiast polegać na wbudowanej wiedzy LLM-ów, MARQ dodaje warstwę specjalistycznej wiedzy z zakresu inżynierii systemów, operacjonalizując kryteria jakości wymagań zdefiniowane przez INCOSE.

Badania przeprowadzono na 100 wykonaniach każdego z trzech modeli - Claude Opus 5, GPT-5.6 Sol i open-weight Gemma 3 12B - na zbiorze rzeczywistych wymagań NASA ocenionych przez ekspertów. Wyniki są imponujące: MARQ podbił wynik F1 Claude'a Opus 5 z 0.55 do 0.80, dla GPT-5.6 Sol z 0.52 do 0.62, a dla Gemmy 3 12B aż z 0.18 do 0.53. Oznacza to dramatyczną poprawę w detekcji defektów - rzeczy, które oryginalnie modele przegapiały, teraz system potrafi znaleźć.

Ale diabeł tkwi w szczegółach. Dla każdego modelu przychody są inne. Claude Opus 5 lepiej wykrywa defekty i kontroluje fałszywe alarmy. GPT-5.6 Sol poprawia detekcję i spójność wykonań, ale generuje więcej fałszywych alarmów. Gemma 3 12B wreszcie osiąga poziom modeli proprietarnych, choć pozostaje niestabilna. To sugeruje, że uniwersalny wzorzec nie istnieje - każdy model wymaga dostrojenia. Dla przemysłu to oznacza, że złożone systemy inżynieryjne mogą być bardziej niezawodne, jeśli wesprze się LLM-y systemową wiedzą zamiast polegać wyłącznie na zdolnościach ogólnych.