Straż pożarna Seattle przez ponad rok w ukryciu wdrażała system AI do nasłuchu każdego medycznego wezwania na terenie miasta. Technologię dostarczyła duńska startup Corti, która specjalizuje się w rozpoznawaniu mowy i wspomaganiu decyzji w dyspozytornościach. System działa w czasie rzeczywistym i podpowiada dyspozytorkom, aby kierowały określonych dzwoniących w innym kierunku niż tradycyjne służby ratownicze.
Najbardziej kontrowersyjne jest to, że wdrożenie miało miejsce bez powiadomienia mieszkańców czy mediów. Publicznie ujawniono je dopiero dzięki śledztwie GeekWire, co oznacza, że ludzie wozili karetkami na terenie miasta bez świadomości, że ich rozmowy są analizowane przez algorytm. To podnosi poważne kwestie dotyczące przejrzystości decyzji publicznych i prawa do wiedzy, że dane osobowe – tu w formie nagrań audio – są przetwarzane.
Decyzje o kierowaniu pacjentów na boczny tor (alternative care routing) mogą mieć realne konsekwencje dla zdrowia ludzi. AI może niedoskonale interpretować sytuacje nadzwyczajne lub dyskryminować – wiadomo, że systemy decyzyjne mogą wzmacniać istniejące nierówności w dostępie do opieki. Seattle stoi teraz przed pytaniami: czy powinno się było konsultować coś takiego z mieszkańcami, kto sprawdza poprawność rekomendacji algorytmu i czy pacjenci mogą się odwołać od decyzji podjętej przez maszynę?