Uczenie przez wzmacnianie dla akceleracji sprzętu i optymalizacji systemowej na platformach FPGA i I

Przegląd naukowo-techniczny analizuje wdrażanie algorytmów reinforcement learning na platformach FPGA i integrated circuits, obejmując ponad 100 publikacji z dziedziny. Autorzy badają, jak różne rodziny RL - od klasycznych metod opartych na wartościach, przez modele głębokie (deep RL), aktorsko-krytyczne, oparte na gradiencie polityki, aż po podejścia wieloagentowe - mapują się na rekonfigurowalny i stały sprzęt.

FPGA i IC oferują obiecujące możliwości dla systemów embedded i edge computing dzięki niskim opoźnieniom, energooszczędności i elastyczności architektonicznej. Jednak implementacja RL na takich platformach wiąże się z rzeczywistymi wyzwaniami: ograniczeniami zasobów, złożonością współprojektowania sprzętu i algorytmów, a także potrzebą optymalizacji na poziomie systemu. Przegląd klasyfikuje badania według poziomu abstrakcji, strategii realizacji sprzętu i domeny aplikacyjnej, porównując wykorzystanie zasobów, opóźnienia, przepustowość, zużycie energii i raportowane zyski wydajności.

Pracownicy identificują powtarzające się wzorce architektoniczne, praktyczne ograniczenia i otwarte wyzwania badawcze. Ta analiza unified dla implementacji FPGA i IC szczególnie skupia się na akceleracji, architekturach rekonfigurowalnych, kontroli świadomej energii i optymalizacji systemowej - obszarach kluczowych dla autonomicznych systemów decyzyjnych w obliczeniach heterogenicznych.