Naukowcy opublikowali na arXiv nowy, solidny benchmark, który sprawdza, czy modele sztucznej inteligencji rzeczywiście rozumieją, jak białka wiążą się z małymi cząsteczkami, czy tylko zapamiętują statystyczne wzorce z danych treningowych. Dataset i proponowana metodologia oceny mają na celu rozwiązanie fundamentalnego pytania o głębokie zrozumienie modeli: czy nauczyły się rozpoznawać konkretne miejsca wiązania na powierzchni białka, czy tylko przewidują ogólne prawdopodobieństwo interakcji chemicznej między molekułami. To rozróżnienie jest kluczowe dla wiarygodności narzędzi AI stosowanych w odkrywaniu nowych leków.
Problem, który badacze chcą rozwiązać, pojawia się, gdy słaba wydajność modelu na testowych zbiorach danych może wynikać z braku rzeczywistego zrozumienia biochemii, a nie z niedostatecznej mocy predykcyjnej. Współczesne modele do przewidywania interakcji białko-ligand często osiągają imponujące metryki na standardowych benchmarkach, ale może to odzwierciedlać jedynie ich zdolność do wychwytywania korelacji statystycznych dostępnych w danych treningowych. Jeśli tak jest, to ich praktyczne zastosowanie w farmacji byłoby ograniczone i zawodne. Właśnie dlatego potrzebna jest dokładna diagnostyka: czy model nauczył się praw biochemii wiązania, czy tylko oszukuje statystyką.
Publikacja tego benchmarku to ważny krok w kierunku większej transparentności i odpowiedzialności w badaniach nad AI dla bioinformatyki. Zaproponowana metodologia pozwoli badaczom i firmom farmaceutycznym lepiej ocenić, czy modele, które chcą wdrożyć w pracę nad nowymi terapiami, rzeczywiście rozumieją chemię, czy mogą zawiść, gdy trafią na nowe, nieznane wcześniej sekwencje białek lub atypowe ligandu. To szczególnie ważne dla wydruków leks, gdzie błędy w przewidywaniu mogą kosztować miliony dolarów i wiele czasu.