Naukowcy z arXiv CS.AI zaprezentowali Smart Coder Framework, nowe podejście do kodowania jakościowego - procesu kategoryzowania danych z wywiadów, tekstów czy transkryptów. Zamiast polegać na chaotycznym promptowaniu, framework strukturyzuje współpracę człowieka i dużych modeli językowych w trzech fazach: Instruction, Prompt Strategy i Reliability Check. To oznacza, że badacze mogą precyzyjnie instruować LLM, dobierać strategie promptowania i automatycznie identyfikować miejsca wymagające dodatkowego przeglądu.
Ewaluacja prowadzona była na transkryptach z rozmów 72 nauczycieli matematyki ze szkół średnich. W badaniu porównywano cztery warianty: prompty z instrukcjami versus bez, technikę few-shot zwykłą versus wzbogaconą o chain-of-thought, oraz kodowanie w jednym przejściu versus self-consistency - metoda, która pyta model wiele razy i sprawdza spójność odpowiedzi. Dwanaście transkryptów pełniło rolę zbioru treningowego, a 60 służyło formalnej ewaluacji w stosunku do benchmarku stworzonego przez ludzi.
Wyniki pokazały, że precyzyjne instrukcje zawsze poprawiały zgodność kodowania między człowiekiem a modelem. Chain-of-thought dodatkowo zwiększał dokładność, gdy instrukcje były jasne, a self-consistency choć przynosił mniejsze zyski, pomagał flagyć niestabilne decyzje do przeglądu człowieka. Ważne jest, że framework zachowuje ostateczną kontrolę dla badaczy - AI wspomaga pracę, ale człowiek pozostaje arbitrem. To rozwiązanie ma potencjał w badaniach jakościowych na dużą skalę, gdzie kodowanie to zwykle główna wąska gardła czasowa.