Naukowcy z arXiv zbadali fundamentalne pytanie: czy modele predykcyjne stosowane w wysokoprzepustowych badaniach perturbacyjnych rzeczywiście uczą się rzeczywistych interakcji między genami, czy tylko ulegają iluzji? Skupili się na szczególnie trudnym przypadku - gdy dwa geny były obserwowane osobno podczas trenowania, ale ich kombinacja nigdy nie pojawiła się w danych. W takich sytuacjach tradycyjne metody wykrywania danych poza rozkładem treningowym zawodzą, bo żaden z genów nie wydaje się nowy.
Team zaproponował prosty test: porównanie przewidywania modelu z addytywnym baseline'em, czyli sumą zaobserwowanych efektów pojedynczych genów. Różnicę tę nazwali additive disagreement (AD) i sprawdzili, czy odzwierciedla ona rzeczywiste interakcje. Wyniki z trzech zbiorów danych Perturb-seq i ośmiu metod prognozowania były zaskakujące - wyspecjalizowane predyktory neuronowe nie radził sobie konsekwentnie lepiej niż ten prosty addytywny model. Co więcej, im bardziej model odchodził od addytywnego baseline'u, tym większe błędy popełniał.
Znaczenie tego odkrycia jest istotne dla biologii obliczeniowej: konwencjonalne miary pewności predykcji okazały się niekonsekwentne między zbiorami danych i modelami, ale metryka AD pozostała informacyjna. Badanie sugeruje, że dla agentycznych systemów przeprowadzających automatyczne screening eksperymentów biologicznych, kalibracja na additive baseline może być bardziej niezawodnym wskaźnikiem rzetelności przewidywań niż wynikowe prawdopodobieństwa modelu.