Naukowcy opracowali nową metodę umożliwiającą klasyfikowanie dźwięków oddechowych bez konieczności specjalistycznego treningu na danych medycznych. Problem polega na tym, że tradycyjne enkodery audio trenowane bez nadzoru nie rozumieją terminologii klinicznej, co ogranicza ich przydatność bez dostępu do oznaczonych danych. Zespół zaproponował rozwiązanie poprzez wyrównanie tych enkoderów z medycznym słownikiem w wspólnej przestrzeni latentnej, zamieniając je w model zdolny do zero-shot inference.
Kluczową innowacją jest wykorzystanie medycznego modelu LLM do syntezy ustrukturyzowanych raportów z samych metadanych pacjentów. To podejście rozwiązuje problem braku sparowanych danych audio-tekstu w dziedzinie medycznej. System łączy sigmoidalną stratę kontrastywną z natywnym celem samo-nadzorowanym enkodera i próbkowaniem ujemnym uwzględniającym podobieństwo, co pozwala wyraźnie oddzielić granice między chorobami.
Wyniki są imponujące - na 9 różnych zadaniach diagnostycznych i 6 zbiorach danych metoda osiągnęła 61.3% średniową AUC, znacznie wyprzedzając popularne modele ogólnego przeznaczenia CLAP (51.4%) i Qwen2-Audio (54.9%). Jeszcze bardziej istotne jest to, że przy linear probing uzyskała 71.6% AUC korzystając zaledwie z 43% danych wymaganych przez pełnoprawne modele bazowe. To pokazuje, że semantyczne wyrównanie strukturalne jest bardziej efektywne niż same skalowanie modeli, szczególnie w zastosowaniach medycznych gdzie dane są ograniczone.