Uczenie wzmacniające z oknem przesuwnym do planowania produkcji wieloproduktowej

Naukowcy z arXiv (CS.AI) zaproponowali nową metodę zwaną sliding-window reinforcement learning (SWRL) do rozwiązania problemu planowania produkcji w fabrykach, gdzie dynamicznie przychodzą nowe zamówienia na wiele produktów jednocześnie.

Problematyka jest złożona, bo dotyczy systemów hybrydowych, które łączą zarówno przetwarzanie, jak i montaż komponentów. Każde nowe zamówienie zmienia dostępne zadania i przydzział do maszyn, tworząc dynamiczną sieć zależności między etapami produkcji. Tradycyjne algorytmy planowania nie radzą sobie dobrze z takimi warunkami, a nawet wcześniejsze sieci neuronowe mają problemy z szacowaniem jakości decyzji w takiej turbulentnym środowisku.

Metoda SWRL rozwiązuje to poprzez trzy innowacyjne komponenty: filtr okna przesuwnego, który ignoruje nieaktywne zadania i skupia się na wąskich gardłach montażu; sieć kodowania grafu spatiotemporalnego, która śledzi przesunięcia wąskich gardeł między kolejnymi decyzjami; oraz moduł mapowania akcji z strategią czekania, który dostosowuje się do zmieniającej się przestrzeni możliwych działań. Eksperymenty na rzeczywistych danych producenta sprzętu AGD wykazały, że SWRL konsekwentnie zmniejsza opóźnienia dostarczenia produktów w stosunku do klasycznych reguł dyspozycji i istniejących metod deep reinforcement learning, a także wykazuje solidne wyniki przy różnych konfiguracjach zasobów, obciążeniach i rozkładach przychodzenia zamówień.