Naukowcy z arXiv opublikowali badania dotyczące problemów związanych z automatycznym przetwarzaniem tekstów ustaw przez maszyny. Odkryli, że różne parsery rozchodząą się w interpretacji tych samych fragmentów kodeksu - na przykład dwa niezależnie napisane ekstraktory mają współczynnik fałszywych negatywów na poziomie 0,43 przy identyfikowaniu progów liczbowych w ustawach Missouri.
Team opracował metodę zwaną certification by survival, która weryfikuje niezawodność logicznych implikacji wyciąganych z tekstów prawnych. Proces polega na pomiarze rozbieżności między ekstraktami dla każdego atrybutu, następnie przepuszczeniu tych rozbieżności przez bazę implikacji Duquenne'a-Guiguesa w 1000 symulacjach Monte Carlo. Implikacja otrzymuje certyfikat tylko wtedy, gdy jednostronny 95-procentowy dolny limit Wilsona na przeżycie osiąga 0,95. Każda certyfikowana implikacja zawiera przesłanki, zakresy tekstu oraz minimalny kontrprzykład.
Badacze przetestowali swoje podejście na 29365 sekcjach ustaw Missouri i 502 indyjskich ustawach centralnych. Wyniki pokazują, że certyfikat jest użyteczny, ale delikatny - wymaga per-chapter kalibracji lub tolerancji na błędy. Bez kalibracji, 93,2 procent rozdziałów nie spełnia minimalnych standardów informacyjności. Zespół udostępnił kod, dane i pełny audit trail badania, w tym jedną wycofaną tezę.