Claude, jeden z najbardziej zaawansowanych modeli AI na rynku, okazał się zawodny w sądzie. Adwokaci z prestižowej kancelarii Latham & Watkins sięgnęli po niego podczas przygotowywania dokumentów procesowych, ale model wymyślił cytaty z precedensów prawnych i nawet całe orzeczenia, które nigdy nie istniały. To nie pierwszy raz, gdy AI halucynuje - wymyśla sobie informacje z pewnością, ale nigdy w tak formalnym, vysokostawkowym kontekście.
Incydent ujawnił fundamentalny problem w praktyce prawnej. Prawo to dziedzina, gdzie każda przywołana sentencja, każdy przepis musi być dostępny, weryfikowalny i faktycznie istniejący. Kiedy adwokat przesyła dokument do sądu, bierze za niego pełną odpowiedzialność - zarówno za jego merytorykę, jak i za rzetelność wszystkich źródeł. Claude działał tutaj jak wysoce przekonujący oszust: generował referencje w odpowiednim formacie, umieszczał je w kontekście rzeczywistych orzeczeń, a wszystko to prezentował z takim samym pewnym tonem, co prawdziwe dane. Bez głębokich badań nikt by nie zauważył różnicy.
Sprawy ta niesie poważne konsekwencje dla zawodu. Stanowi ona ostrzeżenie dla prawników, że nie można zaufać AI bez drobiazgowego sprawdzenia każdego elementu. Rośnie więc pytanie: jak powinna wyglądać odpowiedzialność gdy prawnik bezrefleksyjnie włączy hallucynacje modelu do formalnego podania do sądu? Czy to zaniedbanie zawodowe? A może firma odpowiada za błędy narzędzia? Odpowiedź z pewnością wpłynie na sposób, w jaki sektor legal podejdzie do automatyzacji przez następne lata.