Naukowcy opracowali nową metodę Structured Progressive Knowledge Activation (SPKA), która ma automatycznie znajdować optymalne architektury sieci neuronowych z pomocą dużych modeli językowych. Innowacja polega na połączeniu strukturyzowanej aktywacji wiedzy z progresywnym procesem uczenia, co pozwala LLM-om nie tylko generować projekty architektur, ale i skutecznie je optymalizować. To podejście stanowi potencjalny przełom dla dziedziny poszukiwania architektur neuronowych, czyli NAS-u, którym naukowcy od lat starają się uprościć.
Tradycyjne metody Neural Architecture Search wymagają ogromnych mocy obliczeniowych i czasu - modele muszą być trenowane i testowane tysiące razy, zanim naukowcy znajdą naprawdę dobrą architekturę. SPKA ma zmienić tę grę, wykorzystując wiedzę zawartą w zaawansowanych LLM-ach do inteligentniejszego generowania kandydatów. Zamiast losowych eksperymentów, model może wykorzystać swą wiedzę o tym, jakie elementy sieci zwykle działają razem, co powinno drastycznie zmniejszyć liczbę potrzebnych prób i obniżyć koszty obliczeniowe.
Rezultaty badań wskazują, że ta technika nie tylko przyspiesza proces wyszukiwania, ale i poprawia ostateczną jakość znalezionych architektur. Dla zespołów pracujących nad rozwojem nowych modeli AI, zwłaszcza tych z ograniczonymi zasobami obliczeniowymi, SPKA mogłaby być grą zmienną. Metoda pokazuje, jak można kreatywnie wykorzystać możliwości LLM-ów do rozwiązywania trudnych problemów optymalizacyjnych, otwierając nowe możliwości dla demokratyzacji AI.