Zespół badaczy zaproponował nową metodę oceny modeli machine learning do klasyfikacji mikrostruktur stali 316L dotknięte kruchemem wodorowym na zdjęciach SEM. Problem polega na tym, że typowe podejścia polegające na losowym podziale obrazów mogą prowadzić do wycieków informacji, jeśli wiele zdjęć pochodzi z tego samego obszaru próbki. Naukowcy zastosowali protokół Leave-One-Region-Out (LORO) - systematycznie testując model na wszystkich obrazach z jednego obszaru, podczas gdy uczono go na pozostałych 13 regionach, co gwarantuje brak wiedzy o testowym obszarze.
W porównaniu sześciu różnych podejść ekstrakcji cech - od tradycyjnych metod tekstury (Local Binary Patterns i Grey-Level Co-Occurrence Matrices) po zaawansowane embeddingi z sieci neuronowych pretrenowanych na 143 nieoznaczonych obrazach SEM - zaskakującym zwycięzcą okazał się najprostszy model: LBP łączony z maszyną wektorów nośnych (LBP+SVM). Osiągnął on zbalansowaną dokładność 0,79, przy czym wśród próbek naładowanych wodorem osiągnął czułość 0,69 i precyzję 0,82. Test permutacyjny na poziomie grup (500 permutacji z 3003 możliwych przypisań region-etykieta) dał p=0,008, potwierdzając że wynik nie jest przypadkowy.
To badanie podkreśla ważny lesson dla machine learning w naukach materiałowych: złożone modele głębokie niekoniecznie dominują na małych, dobrze znormalizowanych zbiorach danych. Rygorystyczne metodologie oceny (tutaj region-held-out zamiast image-level split) są kluczowe dla rzetelnych wyników, szczególnie w zastosowaniach gdzie błędne przewidywania mogą mieć poważne konsekwencje dla bezpieczeństwa inżynierskiego.