Duże modele językowe mogą być podatne na perswazję i manipulację przy podejmowaniu decyzji w sprawach prawnych - wynika z ostatnich badań. Naukowcy przeanalizowali, jak systemy takie jak ChatGPT zachowują się, gdy symulują rolę sędziego czy doradcy prawnego i zostają poddane wpływowi argumentów oraz zmieniającego się kontekstu. Rezultaty są niepokojące: modele wykazały istotne słabości w niezawodności i obiektywności, reagując na perswazję w sposób, który zdecydowanie nie powinien się zdarzać w systemie prawnym.
Wdrażanie LLM w dziedzinie prawa to jeden z najpilniej obserwowanych kierunków rozwoju technologii AI, zwłaszcza w kontekście automatyzacji dokumentów i wsparcia dla praktyków. Jednak odkrycie podatności na manipulację fundamentalnie kwestionuje gotowość takich narzędzi do pełnienia krytycznych ról decyzyjnych. Problem polega na tym, że modele językowe działają poprzez przewidywanie najbardziej prawdopodobnych następnych słów na podstawie wzorców w danych treningowych - mogą więc z łatwością przyjąć logikę bardziej przekonywującego argumentu, niezależnie od tego, czy jest faktycznie słuszny czy nie.
Badania podkreślają pilną potrzebę głębszego zbadania bezpieczeństwa AI w sektorze prawniczym zanim takie systemy zostaną szeroko wdrożone. Bez znaczących popraw w niezawodności i odporności na manipulację, wykorzystanie LLM do rzeczywistych decyzji sądowych czy doradztwa prawnego mogłoby stwarzać poważne zagrożenie dla sprawiedliwości i ochrony praw jednostek. Wyniki te powinny być sygnałem ostrzegawczym dla instytucji prawnych i twórców regulacji.