Dale Caldwell, były wiceguberamtor New Jersey, podczas wywiadu na stacji NJ PBS powołał się na analizę dokonaną przez systemy AI, aby bronić się przed oskarżeniami o molestowanie seksualne. Caldwell musiał zrezygnować ze stanowiska 25 września po śledztwie, które wykazało, że harrasował pracownika i wielokrotnie naruszał zasady etyki. Podczas rozmowy z prowadzącym Robem Nelsonem twierdził, że przeanalizował raport śledztwa "poprzez AI" z wielu platform i że systemy potwierdzały jego stanowisko.
Taka taktyka obrony jest problematyczna z kilku powodów. Po pierwsze, fakt że model AI potwierdzi daną narrację nie invaliduje profesjonalnego śledztwa prowadzonego przez rzeczywistych ludzi zbierających dowody i przesłuchujących świadków. AI to narzędzie, które może być skonfigurowane do przetwarzania informacji w określony sposób, ale nie ma niezależnego dostępu do faktów czy zdolności do weryfikacji rzeczywistych zdarzeń. Po drugie, można postawić pytanie, jak dokładnie Caldwell "przetwarzał" dokument przez AI i jakie konkretnie pytania zadawał systemom.
Sprawa ilustruje szerszy problem nadużywania AI jako dowodu w sporach publicznych i prawnych. Niebezpieczeństwo polega na tym, że ludzie mogą być przekonani przez autorytety pozorne, jaką mogą wydawać się opinie algorytmów, nawet gdy systemie AI wyciągają wnioski bez dostępu do pełnego kontekstu czy zdolności do sądzenia wartościowania moralnego takiego jak "molestowanie seksualne".