Konfomalna predykcja staje się coraz bardziej popularna w farmaceutyce do obiektywnej oceny wiarygodności modeli predykcyjnych. Polega na zwracaniu zbiorów przewidywań, które zawierają prawdziwą etykietę z gwarantowanym prawdopodobieństwem co najmniej 1 - alfa dla wybranego współczynnika błędu alfa. Jednak nowe badania z arXiv pokazują, że ta metoda ma istotną wadę na niezbalansowanych zbiorach danych - zarówno wcase'u modelowania przecodzielności przez barierę krew-mózg, jak i przewidywania toksyczności w badaniach klinicznych.
Acześniej przeprowadzono eksperymenty na czterech datasetach, testując standardową marginalną konformalną predykcję. Mimo że metoda utrzymywała globalny cel pokrycia 90%, drastycznie zawodziła dla klasy mniejszościowej: pokrycie dla rzadkiej klasy spadało do zaledwie 64,8% w jednym przypadku i do 4,2% w innym, gdzie rzadka klasa była niemal całkowicie ignorowana. Problem powtarzał się konsekwentnie niezależnie od użytego modelu - lasy losowe, sieci grafowe i zamrożone modele językowe dla chemii wykazywały ten sam efekt z istotną statystyczną (p < 0,001). Okazało się, że niepoddanie się wynika nie z konkretnej architektury, ale z braku kalibracji modelu na rzadkich etykietach. Matematyczna tożsamość konserwacji wyjaśnia zjawisko: niedobór pokrycia klasy mniejszościowej równa się nadmiarowi klasy większościowej wzmocnionemu przez stosunek braku równowagi.
Autorzy zaproponowali rozwiązanie w postaci warunkowej predykcji konformalnej typu Mondrian. Podejście to skutecznie zmniejsza nierównowagę pokrycia we wszystkich testowanych zbiorach, przywracając pokrycie klasy mniejszościowej do pożądanego poziomu przy jedynie skromnym wzroście rozmiaru zbiorów predykcyjnych. Jest to szczególnie ważne, bo problem łatwo przeoczyć - agregacyjna dokładność i ogólne pokrycie pozostają wysokie, co maskuje niedostateczną ochronę rzadkich klas.