Eksperymentalne doświadczenie projektu NormaTrace: modelowe korpusy orzecznictwa z lat 2018 i 2025, workflow agentowy oraz wnioski podlegające weryfikacji
Popularnonaukowe omówienie bez marketingu i bez żargonu technicznego. Mowa o projekcie badawczym, eksperymentalnym — a nie o przemysłowej wyszukiwarce prawniczej. Wszystko, co opisano poniżej, opiera się na materiałach konkretnego projektu; na końcu wymieniono, co dokładnie wykorzystano i które przykłady z projektu trafiły do artykułu.
Skąd to wszystko się bierze: dwa uprzedzenia wobec sieci neuronowej
Siadając do rozmowy z dużym modelem językowym, prawnik zwykle wpada w jedną z dwóch skrajności. Pierwsza to zachwyt: „maszyna zna prawo, zaraz wszystko przeanalizuje”. Druga, dziesięć minut później, to rozczarowanie: „wymyśliła numer sprawy, powołała się na nieistniejące orzeczenie — do poważnej pracy się nie nadaje”.
Ciekawe, że obie reakcje wyrastają z tego samego ukrytego założenia — jakoby praca z modelem to rozmowa: pytasz, model odpowiada tekstem. I to założenie jest głównym błędem, bo „rozmowa z modelem” ma trzy wady fatalne dla prawa.
Odpowiedź w czacie jest niemożliwa do zweryfikowania: cytat i odniesienie pochodzą „z głowy” modelu i mogą po prostu nie istnieć. Jest nieodtwarzalna: zadaj to samo pytanie jutro — dostaniesz inną odpowiedź, a tok rozumowania nigdzie się nie zachowa. I jest niemierzalna: model przywoła trzy-cztery znane mu sprawy, ale nie powie tego, co najważniejsze — jak norma działa w całym zbiorze orzecznictwa: jaki jest odsetek odmów, gdzie praktyka rozeszła się na dwie strony, która izba najrzadziej „utrzymuje się” w kasacji.
A to właśnie — mierzalne życie normy — stanowi rdzeń pracy naukowej, analitycznej i legislacyjnej. Badacz i ustawodawca potrzebują nie streszczenia, lecz odpowiedzi: czy norma daje efekt, dla którego ją uchwalono, a jeśli nie — na czym polega wada i jak ją naprawić.
Projekt NormaTrace, o którym mowa, pokazuje, że tę przepaść już się pokonuje. Nie dzięki „mądrzejszemu modelowi”, lecz dzięki zmianie gatunku — od rozmowy do infrastruktury.
Najpierw ustalmy słownictwo
Żeby dalej się nie potykać, wyjaśnijmy kilka pojęć prostym językiem. Nie da się bez nich obejść, ale jest ich niewiele.
LLM (duży model językowy) — program wytrenowany na ogromnych ilościach tekstu do przewidywania kolejnego słowa; z tego prostego mechanizmu wyrasta zdolność do spójnego pisania, uogólniania, klasyfikowania i wnioskowania. Ważne jest jedno: model nie „pamięta” dokumentów jak biblioteka — przechowuje statystyczne prawidłowości języka. Dlatego gdy prosisz go o zacytowanie orzeczenia, nie sięga po nie z półki, lecz wiarygodnie je rekonstruuje — i czasem się myli, nie odczuwając różnicy między „przypomniałem sobie” a „wymyśliłem”. To właśnie słynna halucynacja.
Workflow agentowy (agentowy przepływ pracy) — sposób organizacji pracy modelu nie jako pojedynczej rozmowy, lecz jako procesu produkcyjnego z etapami, rolami i punktami kontrolnymi. Różnica jest taka jak między poproszeniem znajomego prawnika o radę na korytarzu a uruchomieniem badania w dziale analitycznym — z planem, podziałem zadań, weryfikacją źródeł, wewnętrzną recenzją i podpisanym raportem. Czat to korytarz; workflow agentowy to dział analityczny.
RAG / wyszukiwanie w korpusie (od retrieval-augmented generation — „generowanie wspomagane wyszukiwaniem”) — technika, w której model najpierw znajduje istotne dokumenty w dużej bazie, a następnie wnioskuje wyłącznie na podstawie dostarczonego tekstu, a nie z pamięci. Różnica jest taka jak między „opowiedz, co wiesz o sprawie” a „masz tu pięćdziesiąt orzeczeń, przeanalizuj je i nie wychodź poza nie”. To drugie jest podstawą weryfikowalności.
Citation engine (mechanizm cytowania) — „dyscyplina odniesień”, która fizycznie uniemożliwia modelowi wymyślanie cytatów; jak dokładnie — wyjaśnimy poniżej.
Role, umiejętności (skille), Human Review — podział pracy wewnątrz przepływu: jedni agenci szukają źródeł, inni analizują, jeszcze inni weryfikują, a czwarty liczy pieniądze. Human Review („weryfikacja przez człowieka”) — etap recenzji, który naśladuje spojrzenie wymagającego starszego kolegi.
Teraz można przejść do sedna.
Co leży u podstaw: modelowe korpusy orzecznictwa
Od razu określmy status projektu, żeby nie powstawały zawyżone oczekiwania. NormaTrace to badawcze, eksperymentalne środowisko, a nie przemysłowa wyszukiwarka prawnicza. Pracuje ono na modelowych korpusach orzeczeń sądowych z lat 2018 i 2025 — eksperymentalnych bazach zebranych po to, by testować hipotezy, dopracowywać metodologię i sprawdzać przepływy pracy. To nie jest produktowy indeks wyszukiwania ani system przeznaczony do obciążenia przemysłowego; to „stanowisko badawcze”, na którym testuje się samo podejście.
Ale nawet takie stanowisko zmienia sposób stawiania problemu. Jeden roczny korpus to już dziesiątki tysięcy orzeczeń: na przykład w opisanym niżej przypadku figuruje 16 460 istotnych postanowień Sądu Najwyższego Ukrainy za 2025 rok. Przeczytanie tylu dokumentów ręcznie jest niemożliwe — ani dla prawnika, ani dla całego zespołu. I to właśnie taki zasięg po raz pierwszy pozwala zadawać pytania, które wcześniej były czysto retoryczne: w jakim odsetku spraw sąd odmawia na podstawie tej normy? który argument najczęściej staje się powodem odmowy? czy praktyka różnych izb kasacyjnych jest zbieżna?
Tu istotny jest uczciwy szczegół, który sami autorzy projektu podkreślają: wąskim gardłem nie są dane, lecz metodologia. Teksty są już zebrane; trudność polega na przekształceniu dziesiątek tysięcy surowych orzeczeń w wniosek, któremu można zaufać na tyle, by się pod nim podpisać. Dlatego środek ciężkości projektu to nie „sprytne prompty” ani parsery, lecz dyscyplina: mapa źródeł, matryca dowodowa, mechanizm cytowania i kontrola jakości.
Cały proces podporządkowany jest jednej formule, zapisanej w pliku sterującym projektu (CLAUDE.md) i powtarzanej potem w kilkunastu miejscach jako metodologiczny niezmiennik:
norma → praktyka stosowania → wzorce → problem → klasyfikacja → rozwiązanie → prognoza wpływu → raport podlegający weryfikacji.
To „gatunek infrastruktury” w jednym zdaniu. Nie „daj mi odpowiedź”, lecz „przejdź całą drogę od tekstu normy do raportu podlegającego weryfikacji, zostawiając ślad na każdym kroku”.
Czym workflow agentowy różni się od czatu: podział pracy
W zwykłym czacie jeden model robi wszystko naraz — i dlatego nie robi niczego wiarygodnie. W NormaTrace pracę rozłożono na role (w języku projektu — subagentów). Jest ich około tuzina i są zaprojektowane przemyślanie.
Jest koordynator, który planuje badanie i rozdziela pracę — i, co znamienne, prawo do „tworzenia” nowych wykonawców ma tylko on. Jest analityk z żelazną zasadą: każdy wniosek musi być powiązany z wierszem matrycy dowodowej. Są specjaliści od źródeł (osobno od wewnętrznej bazy, osobno od internetu) oraz inżynier zapytań masowych. I są trzy role-„sumienia”: kontroler rozliczeń — jedyny, który ma prawo nacisnąć hamulec bezpieczeństwa; audytor odtwarzalności, sprawdzający, czy każde zapytanie i każdy cytat można powtórzyć; oraz autonomiczny „ludzki” recenzent — agent grający rolę wymagającego recenzenta.
Obok ról są skille: wielokrotnego użytku procedury-checklisty („jak cytować”, „jak liczyć pieniądze”, „jak sprawdzać odtwarzalność”). Jeśli rola to „kto”, to skill to „według jakiej procedury”.
Po co taki podział? Z tego samego powodu, dla którego istnieje w prawdziwej kancelarii. Jedna osoba, która robi wszystko naraz, myli się niezauważalnie dla samej siebie. Podział pracy tworzy tarcie i kontrole: ten, kto analizuje, nie jest tym, kto weryfikuje; ten, kto wydaje tokeny, nie jest tym, kto pilnuje budżetu. Błąd jednego agenta ma szansę zostać wychwycony przez innego — i to właśnie te sztuczne tarcia odróżniają badanie od pogawędki.
Jak to działało na żywej normie: odpowiedzialność subsydiarna
Abstrakcje najlepiej sprawdzać na konkretach. Flagowym przypadkiem projektu jest część 2 artykułu 61 Kodeksu Ukrainy o procedurach upadłościowych: odpowiedzialność subsydiarna osób kontrolujących dłużnika. Norma jest „gorąca”: gdy zbankrutowane przedsiębiorstwo nie może uregulować zobowiązań, pojawia się pytanie, czy długi można ściągnąć od tych, którzy faktycznie nim zarządzali. Pytanie badawcze sformułowano empirycznie: jak ta norma jest w rzeczywistości stosowana przez sądy w 2025 roku?
Przepływ przeszedł całą drogę. Z modelowego korpusu 2025 roku, na podstawie sygnatury normy, wybrano około 260 kandydatów; po deduplikacji zostało 210 unikalnych spraw; po odrzuceniu spraw proceduralnych i nieistotnych — 70 „istotnych” aktów, w których norma została zastosowana co do meritum. Następnie model sklasyfikował wyniki. Rezultaty (ściśle jako fakty dotyczące artefaktów danego przebiegu, a nie jako samodzielnie zweryfikowany wynik prawny): odmowa pociągnięcia do odpowiedzialności — w 60,0% spraw (42 z 70), a dominującą przyczyną odmowy było „niewykazanie związku przyczynowego”: 75,6% (34 z 45) w odpowiedniej podgrupie. Cały przebieg kosztował 3,92 dolara (666 zapytań do modelu „lekkiego”).
Warto się nad tym zatrzymać: to nie streszczenie trzech spraw, lecz mapa zachowania normy na korpusie całego roku, z której wynika diagnoza strukturalna — sądy nie mają jednego przewidywalnego kryterium związku przyczynowego, a to właśnie „niewykazanie przyczynowości” jest głównym kanałem, którym odpowiedzialność się wymyka. Takiego wniosku nie da się uzyskać w czacie — można go jedynie zmierzyć.
Ten sam wątek przeprowadzono jeszcze drugą, niezależną metodą — według ścisłego zestawu promptów klienckich, opartych na zasadzie grounded-only („wnioskuj wyłącznie na podstawie dostarczonego tekstu, nie korzystaj z wewnętrznej wiedzy o Kodeksie”). Oba przebiegi doszły do tej samej diagnozy, a zbieżność dwóch niezależnych ścieżek sama w sobie wzmacnia zaufanie do wniosku.
Citation engine: dlaczego model fizycznie nie może skłamać w cytacie
Teraz o najważniejszym elemencie, ze względu na który w istocie zbudowano całą konstrukcję. Główny lęk prawnika przed siecią neuronową: „powoła się na sprawę, której nie ma”. NormaTrace rozwiązuje ten problem nie przez namawianie modelu, żeby „nie wymyślał”, lecz architektonicznie.
Działa to tak. Wszystkie dokumenty źródłowe są z góry pocięte na ponumerowane segmenty — każdy akapit otrzymuje stały identyfikator (na przykład P0001) oraz odcisk skrótu (hash) tekstu. Gdy model przygotowuje wniosek, nie wolno mu pisać treści cytatu: może jedynie wskazać identyfikator potrzebnego segmentu — „tutaj, w akapicie P0042”. A rzeczywisty, dosłowny tekst podstawia już nie model, lecz osobny deterministyczny resolwer, który pobiera go z rejestru na podstawie identyfikatora.
W schemacie danych zapisano to dosłownie jako zakaz: „model wybiera wyłącznie odniesienia; NIE WOLNO mu wymyślać treści cytatu” (evidence_refs.schema.json). W schemacie po prostu nie ma pola na dowolny tekst cytatu — nie ma gdzie wpisać wymysłu.
Metafora jest prosta. Zwykły model to gawędziarz, który cytuje z pamięci i czasem koloryzuje. Citation engine zmienia go w kogoś, kto wskazuje palcem linijkę w książce, podczas gdy samą książkę trzyma i czyta ktoś inny, nieprzekupny. Zaufanie przenosi się z modelu na warstwę deterministyczną.
I to działa. Weryfikując jeden z raportów końcowych, niezależny audytor zewnętrzny potwierdził: wszystkie 29 odniesień jest na swoim miejscu, wszystkie 29 dosłownych cytatów zgadza się z tekstem kanonicznym, sumy kontrolne się zgadzają. Co więcej, audytor ponownie przeliczył kluczowe wskaźniki z plików źródłowych — „wszystkie wartości zgodziły się co do cyfry”.
Ale zaraz obok — uczciwa granica, której projekt nie ukrywa. Citation engine dowodzi, że model wskazał istniejący fragment właściwego dokumentu. Nie dowodzi, że fragment jest prawnie wystarczający dla wniosku: trafność stanowiska prawnego pozostaje w gestii człowieka. Odniesienie jest poprawne — ale czy jest adekwatne, decyduje prawnik.
Kontrola błędów, halucynacji, pieniędzy i jakości
Weryfikowalność cytatów to tylko jeden krąg zabezpieczeń. Jest ich kilka i razem tworzą „dyscyplinę wokół modelu”.
Pieniądze. Jedyną twardą podstawą do zatrzymania całego systemu jest ryzyko przekroczenia limitu 50 dolarów dziennie na zapytania do modelu. Wszystko inne (nawet klasyfikację prawną i wewnętrzną recenzję) system wykonuje autonomicznie, ale pieniądze traktuje jak świętość: przed dużym przebiegiem obowiązkowe jest wstępne oszacowanie kosztu, a jeśli cena jest nieznana — stop.
I tu — chyba najbardziej praktyczny zabieg projektu: „najpierw regex, potem LLM”. Większość jednorodnej pracy (na przykład klasyfikację wyniku na podstawie standardowego sformułowania sentencji) wykonuje nie drogi model, lecz tanie deterministyczne dopasowywanie wzorców; model włącza się dopiero do „reszty” — przypadków niejednoznacznych — oraz do końcowej weryfikacji. Efekt jest oszałamiający: analiza 16 460 postanowień Sądu Najwyższego Ukrainy kosztowała około 1,5 dolara zamiast szacowanych 233, gdyby każde orzeczenie przepuszczano przez model. Oszczędność stopięćdziesięciokrotna — a przy tym wyższa odtwarzalność, bo regex zawsze daje ten sam wynik.
Jakość adwersaryjna. Wewnętrzną recenzję prowadzi kilku niezależnych recenzentów, a każda uwaga blokująca jest ponownie weryfikowana w drodze głosowania sceptyków. To nie dekoracja: w jednym z przebiegów taka kontrola wychwyciła realne zawyżenie — „8 z 8” zamiast poprawnych „7 z 7” dla jednego z przypadków-analogów — a audytor potwierdził następnie, że poprawkę wprowadzono.
Najważniejszy uczciwy wynik. A teraz to, co odróżnia dojrzały projekt od prezentacji marketingowej. Gdy jeden z flagowych raportów przeszedł wewnętrzną kontrolę ze statusem „wystarczający”, przekazano go do niezależnego audytu zewnętrznego, który wydał werdykt: „ZWRÓCIĆ DO POPRAWY” — warunkowo pozytywny, z pięcioma uwagami blokującymi. Wewnętrzna bramka kontrolna powiedziała „wystarczy”, zewnętrzna — „jeszcze nie”.
Ta rozbieżność to chyba najcenniejszy wniosek z całego projektu: recenzja wewnątrzmodelowa nie zastępuje ekspertyzy zewnętrznej. Agent grający rolę wymagającego recenzenta to ten sam model; jego niezależność jest deklarowana, ale nie zagwarantowana architektonicznie. Prawdziwe spojrzenie z zewnątrz na razie pozostaje w rękach człowieka.
Co jeszcze pokazały eksperymenty
Oprócz flagowego przypadku projekt przeprowadził jeszcze kilka różnych merytorycznie badań — i każde dodaje coś do obrazu całości.
Skala i regex-first: stabilność kasacji. Pytanie — jaki odsetek orzeczeń sądów niższych instancji „utrzymuje się” w kasacji Sądu Najwyższego Ukrainy w 2025 roku. Metoda — deterministyczna analiza sformułowań sentencji według taksonomii 16 kodów z pokryciem 98%; model jedynie kontrolnie weryfikował próbę. Wynik: 58,2% orzeczeń się utrzymało, 41,8% zostało zdestabilizowanych, przy dużym rozrzucie między izbami — od 68,2% w Wielkiej Izbie do 43,2% w izbie kasacyjnej administracyjnej. Zgodność weryfikacji modelowej z regex wyniosła prawie 95%. To, co ręcznie zajęłoby miesiące, zajęło kilka minut i około półtora dolara.
Przypadek metodologicznej ostrożności: sędziowie-sprawozdawcy. Na już oznakowanym korpusie policzono stabilność dla poszczególnych sędziów-sprawozdawców (nie kosztowało to nic dodatkowego — wyniki dołączono do gotowych danych). Ale cenniejsze od liczb jest tu ostrzeżenie, które system sam wpisał do raportu: wskaźnika „procent stabilności” nie wolno wykorzystywać jako oceny jakości pracy sędziego ani jako podstawy wniosków dyscyplinarnych bez korekty o strukturę spraw. Trudniejsze kategorie spraw częściej upadają w kasacji — a to mówi o kategorii, nie o sędzim. System, który sam ogranicza zastosowanie własnych wskaźników, zasługuje na dużo większe zaufanie niż taki, który sprawnie wydaje rankingi.
Przypadek praktyki ponadnarodowej: ETPC przez HUDOC. Na potrzeby argumentacji prawnoporównawczej projekt wydobył 79 stanowisk Europejskiego Trybunału Praw Człowieka z 8 spraw, każde z dokładnym wskazaniem paragrafu. I znów znamienna jest nie wielkość, lecz dyscyplina: sprawy niemożliwe do zweryfikowania (nieustalony numer skargi, tekst wyłącznie po francusku) zostały wykluczone, a wczesne cytaty „z pamięci” pętla QA wychwyciła i zastąpiła weryfikowalnymi. To bezpośredni prototyp przygotowania materiałów dla instancji międzynarodowych.
Mikropilotaż. Zanim uruchomiono duże korpusy, ścieżkę przetwarzania masowego przetestowano na ośmiu syntetycznych dokumentach: poprawny format wyjściowy — 8 z 8, trafność doboru — 8 z 8, koszt — mniej niż cent. Nudne — ale właśnie tak wygląda inżynierska staranność: najpierw sprawdź rurę na wodzie, potem puść przepływ.
Gdzie system wciąż się potyka
Uczciwość projektu polega na tym, że swoje ograniczenia dokumentuje równie skrupulatnie jak osiągnięcia. Wymieńmy główne — to ważniejsze niż jakikolwiek zachwyt.
„Pozorna precyzja”. Czytając „60,0% odmów” czy „75,6% dla przyczynowości”, łatwo uwierzyć w precyzję co do dziesiątych części procenta. Ale za tymi liczbami stoi jedno przejście niedrogiego modelu (średnia pewność około 0,7), a nie wszystkie przypadki zostały zweryfikowane dosłownie. Właściwym sposobem prezentacji są przedziały („około 60%”), a nie dziesiąte części procenta, plus ręczny audyt próby 20–30 aktów. Liczba, która wygląda na precyzyjną, i liczba, która rzeczywiście jest precyzyjna, to nie to samo.
Uboga baza analogii. Żeby zaproponować rozwiązanie „jak w podobnej konstrukcji prawnej”, potrzebne są same te konstrukcje. Ale pełny przegląd 220 stanowisk prawnych dał zaledwie 2 prawdziwe komparatory — czyli część wniosków prawnoporównawczych opiera się raczej na niedoborze materiału niż na rzetelnie przeniesionym standardzie. Ryzyko fałszywej analogii jest realne; projekt uczciwie je odnotowuje, ale całkowicie go nie usuwa.
Kompletność i jakość danych. Część metadanych jest uboga, jurysdykcja bywa wyprowadzana z pośrednich przesłanek (z nazwy sądu), a korpus dla konkretnej normy może być niepełny (263 sprawy tam, gdzie hipotetycznie mogło być ~tysiąc). Dosłowne przypisanie cytatów nie zostało wykonane dla wszystkich źródeł — dynamicznych stron oficjalnych portali prawnych nie da się tak po prostu „przypiąć”.
Granica autonomii. Limit 50 dolarów był przestrzegany (do ósmego zadania narosło około 33 z 50), ale nie ma jednego zbiorczego licznika wydatków — kwoty zbierane są z osobnych plików i nieznacznie się rozjeżdżają. I subtelniej: limit liczy wyłącznie zapytania do modelu, a praca samego orkiestratora się w nim nie mieści — pełny koszt obliczeniowy jest wyższy niż odzwierciedlony.
Dojrzałość warstwy „produktowej”. Na bazie rdzenia badawczego budowany jest interfejs, przez który prawnik mógłby sterować przepływem za pomocą zapytania w języku naturalnym. Ale to na razie demonstracja, nie produkt: autoryzacja to atrapa, część adapterów to „puste wydmuszki”, sprawdzenie gotowości do wdrożenia zwracało wynik „niepowodzenie”. Nie da się tego wypuścić na produkcję.
I osobne zastrzeżenie, ważne dla dokładności: nazwy modeli w projekcie („GPT-5.4”, „Mini”) to role routingowe w ramach metodologii, a nie potwierdzone identyfikatory zewnętrzne; co fizycznie się pod nimi kryje, zależy od środowiska.
Dlaczego to już jest przydatne dla prawnika — i gdzie bez człowieka się nie obejdzie
Jeśli odłożyć na bok i zachwyt, i sceptycyzm, pozostaje trzeźwy obraz: takie systemy już dziś dają prawnikowi coś, czego nie dawał ani czat, ani klasyczne wyszukiwanie prawnicze.
Dają zasięg nieosiągalny ręcznie: nie próbkę kilkunastu spraw dobranych „na wyczucie”, lecz odtwarzalny przebieg po całym korpusie rocznym. Pokazują strukturę praktyki, a nie anegdoty: gdzie dominuje jedno podejście, gdzie praktyka jest rozdwojona, która izba jest najmniej stabilna — to materiał zarówno na artykuł naukowy, jak i na pismo procesowe, jak i na uzasadnienie inicjatywy legislacyjnej. Pomagają formułować i weryfikować hipotezy o przyczynie dysfunkcji normy: system nie tylko liczy, ale klasyfikuje wadę (lukę, kolizję, wadę techniki legislacyjnej, niespójność systemową). I wreszcie tworzą raporty „pod podpis”, w których każdy wniosek jest powiązany z wierszem matrycy dowodowej i weryfikowalnym cytatem, a w załączniku znajduje się wszystko potrzebne do powtórzenia przebiegu — identyfikator przebiegu, wersje promptów, zapytania, koszt. To usuwa główny zarzut wobec AI w prawie — „a skąd to macie?”.
Ale ten sam obraz wyznacza też miejsce człowieka. Maszyna mierzy — człowiek decyduje, czy fragment jest wystarczający dla wniosku prawnego. Maszyna znajduje wzorzec — człowiek ocenia, czy nie jest to artefakt metody (jak owe „2 z 220”). Maszyna podaje procent — człowiek przekłada go na uczciwy przedział, pamiętając, że za dziesiętnymi częściami procenta może kryć się jedno niepewne przejście modelu. I, jak pokazał audyt zewnętrzny, to właśnie człowiek pozostaje ostatnią instancją jakości: recenzja wewnętrzna to użyteczne sito, ale nie podpis eksperta.
Stąd główna teza, bez patosu. Wartość tworzy nie sam model, lecz dyscyplina wokół niego: metodologia, ustrukturyzowane prompty, weryfikowalne źródła, odtwarzalne przebiegi, kontrola jakości, Human Review i uczciwy opis granic. Usuń dyscyplinę — a infrastruktura znów zapadnie się w gadatliwy czat.
Co warto zbadać dalej
NormaTrace jest przydatny również dlatego, że jasno pokazuje front dalszych prac. Zanim takie wnioski trafią do publikacji lub do sądu, warto: przeprowadzić ręczny audyt próby klasyfikacji jednoprzebiegowych, potwierdzając odsetki wyników; niezależnie zweryfikować ubogą bazę analogii (czy „2 z 220” to cecha praktyki, czy artefakt metody?); sprawdzić kompletność korpusu dla danej normy; policzyć pełny koszt, uwzględniając pracę orkiestratora. Osobnym, dużym wątkiem jest to, jak sprawić, by recenzja zewnętrzna była niezależna architektonicznie, a nie tylko deklaratywnie, oraz jak doprowadzić demonstracyjną warstwę produktową do stanu przydatnego do realnej pracy.
To nie lista zarzutów, lecz mapa dojrzewania technologii, która przestała już być zabawką, ale jeszcze nie stała się narzędziem, któremu można zaufać bezkrytycznie. I chyba najzdrowsze, co można dziś powiedzieć o agentach LLM w prawie: są wystarczająco dobrzy, by radykalnie wzmocnić prawnika, i niewystarczająco dobrzy, by go zastąpić — a uczciwe systemy takie jak NormaTrace są cenne właśnie dlatego, że pokazują, gdzie przebiega ta granica.
Załącznik: wykorzystane materiały i przykłady
Jakie materiały projektu wykorzystano. Artykuł opiera się na briefie badawczym projektu NormaTrace (meta-analiza materiałów projektu z 8 czerwca 2026 r.) oraz — za jego pośrednictwem — na weryfikowalnych artefaktach: pliku sterującym CLAUDE.md (metodologiczny niezmiennik, limit 50 USD/dobę); schemacie mechanizmu cytowania schemas/evidence_refs.schema.json (zakaz wymyślania treści cytatu); rejestrze ról i skilli w .claude/agents/ oraz .claude/skills/; raporcie o strukturze korpusu badawczego reports/court_decisions_schema_analysis.md; przebiegach w artifacts/runs/ (przypadek flagowy dotyczący cz. 2 art. 61 Kodeksu Ukrainy o procedurach upadłościowych, stabilność kasacji SN, sędziowie-sprawozdawcy, dyscyplina sędziowska/WRS, mikropilotaż); wniosku z niezależnego audytu zewnętrznego reports/audit/audit_conclusion_kuzpb_st61_v5.md; ocenach gotowości i kalkulacjach kosztów w odpowiednich plikach readiness_brief.md i cost_report.md.
Które przykłady z NormaTrace trafiły do artykułu. (1) Odpowiedzialność subsydiarna osób kontrolujących dłużnika na podstawie cz. 2 art. 61 Kodeksu Ukrainy o procedurach upadłościowych jako „przypadek pogłębiony” z zmierzonymi wynikami (60,0% odmów; 75,6% „nie wykazano związku przyczynowego”; lejek 260→210→70; koszt 3,92 USD) oraz ewolucja raportu pod wpływem audytu zewnętrznego. (2) Stabilność kasacji SN w 2025 r. jako „przypadek skali i regex-first” (16 460 postanowień; 58,2% stabilności; rozrzut izb 68,2%→43,2%; ~1,49 USD wobec szacowanych ~233 USD). (3) Sędziowie-sprawozdawcy jako „przypadek metodologicznej ostrożności” (ostrzeżenie o niestosowalności wskaźnika; 0 USD). (4) Stanowiska ETPC przez HUDOC jako „przypadek weryfikowalnego cytowania” (79 stanowisk z 8 spraw; wykluczenie przypadków niemożliwych do zweryfikowania). (5) Audyt zewnętrzny z werdyktem „zwrócić do poprawy” jako ilustracja rozbieżności między kontrolą wewnętrzną a zewnętrzną.