Badania pokazują, że duże modele językowe mogą być bardziej efektywne niż specjalistyczne narzędzia w odkrywaniu instytucjonalnie specyficznych danych chronionych w dokumentacji medycznej. Zespół testował osiem modeli LLM na 100 notatkach z onkologii dziecięcej z Texas Children's Hospital (łącznie 5322 fragmenty zawierające PHI), porównując je z dwoma dedykowanymi systemami: Stanford TiDE i OpenMed PII. Najlepszy model osiągnął F1=0.918, podczas gdy TiDE uzyskał 0.779 - znaczną przewagę w kategoryzowaniu danych o lokalnym znaczeniu.

Sekretem skuteczności okazało się podejście iteracyjne do promptowania. Najpierw modele testowano z podstawowym instrukcjami zgodnym z HIPAA, następnie podawano im listę kategorii PHI, które wcześniej pominęły, a wreszcie dodawano instrukcje unikania nadmiernego redagowania klinicznie istotnych treści. Sama informacja o pominiętych kategoriach pozwoliła odzyskać 79 procent tych danych (48 z 61), a wytyczne dotyczące precyzji przywróciły równowagę między czułością a swoistością.

Chociaż bardziej złożone architektury multi-agentowe nie przewyższyły optymalnie dostrojonych pojedynczych podejść, analiza wyników LLM-ów ujawniła 414 potencjalnych luk w adnotacjach, z czego 227 potwierdzono jako rzeczywiście pomamiane dane wrażliwe. To odkrycie sugeruje, że LLM-y mogą nie tylko bezpieczniej anonimizować dokumenty, ale także wyłapywać błędy w istniejących standardach adnotacji medycznej.