Badacze opisali Branching Policy Optimization, algorytm uczenia przez wzmacnianie specjalnie zaprojektowany dla agentów language model działających w deterministycznych sandboxach. Kluczowe odkrycie polega na tym, że tradycyjne podejście - próbkowanie N niezależnych pełnych trajektorii dla każdego promptu - nie wykorzystuje specjalnych właściwości tych środowisk: są one deterministyczne, mogą być snapshottowane i wznawiane z dowolnego pośredniego stanu.
BPO zmienia topologię rolloutów z N niezależnych drzew na pojedyncze drzewo o N liściach, gdzie gałęzie dzielą wspólne prefiksy i tym samym dzielą wariancję. Algorytm działa poprzez adaptacyjne snapshottowanie sandbox w punktach decyzyjnych o wysokiej entropii wzdłuż głównej trajektorii, następnie rozgałęzianie K alternatywnych akcji z każdego punktu granicy i rollout każdego do końca. Najważniejsza innowacja to obliczanie przewag per-step na podstawie zwrotów od rodzeństwa (sibling returns) zamiast z niezależnych promptów. Matematyka pokazuje, że taki estymator jest nieobciążony i ma ściśle niższą wariancję niż baseline na poziomie trajektorii, a redukcja równa się proporcji wariancji zwrotu wyjaśnianej przez prefiks.
Na trzech wymagających benchmarkach - WebShop, ALFWorld i SWE-bench Verified - BPO osiągnął zlepszenie sukcesu o 3,6-6,1 punktu procentowego w stosunku do istniejących metod, używając zarówno Qwen2.5-7B jak i Llama-3.1-8B. To podejście ma potencjał znacząco wpłynąć na efektywność treningu złożonych agentów działających w interaktywnych środowiskach, ponieważ zmniejsza liczbę potrzebnych ewaluacji przy zachowaniu lub poprawianiu jakości uczenia.