Naukowcy wprowadzili PMO-Dock, benchmark standaryzujący ocenę algorytmów optymalizacji molekularnej w oparciu o rzeczywiste scenariusze dokowania. Poprzedni benchmark PMO opierał się na prostych wskaźnikach właściwości cząsteczek, nie uwzględniając strukturalnych aspektów projektowania leków. Wraz z przejściem na zadania oparte na dokowanie białko-ligand, praktyka ewaluacyjna stała się niespójna - różne metody raportowały wyniki na różnych zestawach zadań bez wspólnego protokołu porównania. PMO-Dock rozwiązuje ten problem.
Nowy benchmark obejmuje 25 zadań podzielonych na trzy kategorie: generowanie trafień (identyfikacja związków wiążących się z białkiem), optymalizację leków (poprawa właściwości istniejących związków) oraz nową kategorię specyficzności, która wymaga silnego wiązania z docelowym białkiem przy jednoczesnym minimalizowaniu szkodliwych interakcji z innymi białkami. Protokół rozdziela etap desenvolvimento od finalnej ewaluacji - zadania walidacyjne służą strojeniu hiperparametrów, a zadania testowe są trzymane w tajemnicy i nie używane podczas rozwoju algorytmu. Wszystkie testy prowadzono pod ścisłym budżetem zapytań do oracle, co odbija realistyczne warunki odkrywania leków.
Drużyna zbadała cztery zaawansowane metody reprezentujące różne paradygmaty optymalizacji: Saturn (uczenie przez wzmacnianie), GenMol (dyskretna dyfuzja), Genetic-guided GFlowNet i ChemLlama (ewolucyjne wyszukiwanie oparte na modelach językowych). Analiza wyników ujawniła, że żadna metoda nie dominuje uniwersalnie - każda ma swoje mocne strony w różnych typach zadań. Badania hiperparametrów pokazały również, że ustawienia optymalne dla jednego zadania nie zawsze przenoszą się na inne, podkreślając potrzebę zindywidualizowanego podejścia. PMO-Dock stanowi krok w kierunku bardziej rygorystycznej i porównywalnej ewaluacji w dziedzinie projektowania leków wspomaganego sztuczną inteligencją.