Czy agenty AI rzeczywiście rozumieją architekturę procesorów?

Kolejne doniesienia z mediów mówią o agentach AI projektujących z powodzeniem sprzęt komputerowy, ale badania z arXiv sugerują, że ta sukces mogą być mylący. Agenty mogą bowiem albo rzeczywiście rozumieć zasady działania procesorów, albo po prostu efektywnie szukać rozwiązań bez jakiegokolwiek zrozumienia parametrów, które manipulują. Problem polega na tym, że dotychczasowe ewaluacje nie potrafią rozróżnić tych dwóch scenariuszy.

Zaproponowana metodologia AutoTuring zmienia podejście przez przetestowanie tego samego agenta na identycznej zadaniu dwojako: najpierw z pełnym kontekstem - parametry noszą rzeczywiste nazwy dotyczące architektury (takie jak liczniki symulatora), potem bez kontekstu - te same parametry zostały zanonimizowane jako zmienne od 0 do 1. Wszystko inne pozostawało identyczne: prawna przestrzeń, osiągalne optima, liczba prób. Różnica w wydajności między tymi warunkami pokazuje, na ile agent faktycznie rozumie architekturę komputera.

Wyniki na koszyku dziewięciu kerneli FP16 GEMM wykazały, że wiedza architektoniczna ma rzeczywistą wartość. Agent ze zrozumieniem struktury osiągnął wyniki lepsze o 5,4% od modelowanego procesora H200 i o 12,3% od swojego "ślepego" wariantu, jednocześnie wykonując 70,1% mniej wywołań symulatora. Jednak okazało się też, że agent pracujący bez kontekstu mógł odrobić znaczną część straty przez zastosowanie pętli krytyki strukturalnej - co sugeruje, że wiedza architektoniczna i ustrukturyzowany feedback mogą być dla agentów substytutami, a nie komplementami. Badacze zaznaczają, że są to wstępne ustalenia oparte na pięciu-sześciu przebiegach na pojedynczym modelowanym akceleratorze, a sama metodologia porównania stanowi istotny wkład naukowy.