Małe modele językowe z narzędziami grafowymi dla przewidywania właściwości cząsteczek

Naukowcy z arXiv opublikowali metodę poprawy zdolności małych modeli językowych do przewidywania właściwości molekularnych poprzez integrację narzędzi opartych na grafach. Problem stanowiła tzw. ślepota strukturalna - modele sekwencyjne nie uchwytują w pełni topologicznych cech cząsteczek reprezentowanych kodem SMILES, co obniżało ich trafność predykcji.

Proponowany framework Context-Augmented Prompting działa jak asystent z dostępem do narzędzi. W momencie wnioskowania (inference) system może skorzystać z wyuczonego modelu GNN, który dostarcza wskazówkę predykcyjną wraz ze wskaźnikiem pewności, oraz z drugiego modelu GNN extrahującego istotny dla danego przykładu podgraf - zarówno w postaci uproszczonego kodu SMILES, jak i wyjaśniającego tekstu. Badacze testowali rozwiązanie na trzech popularnych SLM-ach przy użyciu pięciu konfiguracji promptów, od wariantów zawierających wyłącznie SMILES do pełnego wykorzystania dostępnych narzędzi grafowych.

Wyniki pokazały spektakularne wzrosty dokładności - łącznie na zbiorach MUTAG i Tox21 wzbogacanie promptów kontekstem grafowym generowało średnio ponad 25-procentową poprawę, osiągając nawet 74 procent na Tox21. Zespół dodatkowo walidował funkcjonalność ekstrahowanych motywów poprzez eksperyment usuwania krawędzi. Mimo postępu, szczególnie wyspecjalizowane modele GNN wciąż zachowują przewagę, co wskazuje zarówno na możliwości, jak i ograniczenia podejścia opartego na rozumowaniu warunkowanym tekstem.