Naukowcy opracowali LLMForge, framework łączący możliwości dużych modeli językowych z generowaniem projektów CAD dla części mechanicznych. System automatycznie tworzy parametryczne projekty 3D na podstawie specyfikacji w języku naturalnym, a następnie je iteracyjnie udoskonala. Framework integruje walidację JSON, ocenę cech oraz syntezę mesh-ów, pracując w kilkurundowej pętli doskonalenia.
Badanie przedstawia unikalne podejście do ewaluacji poprzez dwa reginy krytyki. IterTracer wykorzystuje ray-trace renderer z analitycznymi metrykami wizualnymi, mierzącymi dopasowanie sylwety, widoczność otworów i zgodność proporcji. IterVision zastępuje scoring analityczny semantycznym krytyk oparty na modelu Qwen2.5-VL-72B, który analizuje renderowane widoki przy użyciu chain-of-thought reasoning, oceniając spójność przestrzenną i intencję projektu.
Eksperymenty przeprowadzono na benchmarku obejmującym cztery rodziny geometrii: płyty z otworami i okręgami śrub, wielocechowe pudełka, cylindry z kołnierzami i wsporniki L-kształtne. Testowano siedem modeli fundacyjnych: DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B, GLM-4.5, MiniMax-M2.1 i INTELLECT. Cztery najlepiej oceniane modele wykazały zbliżone wyniki w przedziale średniej [0.885, 0.890] z 98.97% sukcesem mesh'u. Badanie pokazuje, że foundation models mogą skutecznie wspierać inżynierów w automatyzacji wstępnych etapów projektowania CAD.