Recenzje literatury generowane przez LLM-y: wpływ długości okna kontekstowego na jakość

Zespół badawczy ocenił recenzje literatury generowane przez LLM-y przy różnych ustawieniach długości okna kontekstowego, sprawdzając jak ten parametr wpływa na jakość prac naukowych tworzonego przez sztuczną inteligencję. Analiza objęła 20 recenzji wygenerowanych na podstawie źródeł z Semantic Scholar i Arxiv, które dwaj badacze ocenili na przestrzeni 15 różnych wymiarów, od dokładności merytorycznej po przejrzystość struktury.

Wyniki ujawniają złożony obraz możliwości i ograniczeń współczesnych LLM-ów w pracach akademickich. Wraz ze wzrostem okna kontekstowego modele rzeczywiście radzą sobie lepiej w uwzględnianiu szerszego zakresu informacji i zachowywaniu spójności tekstu na dłuższych dystansach. Problem polega na tym, że większe okna kontekstowe amplifikują pewne problemy: tekst zaczyna się powtarzać, ważne prace czasami są pomijane, a LLM-y mają tendencję do opisywania zawartości źródeł zamiast ich krytycznej syntezy.

Badacze konkludują, że AI-generowane recenzje mogą służyć jako punkt wyjścia do strukturyzacji materiału, ale bezwzględnie wymagają ludzkiego nadzoru i dopracowania przez ekspertów dziedziny. Przyszłe badania powinny eksperymentować z innymi modelami, wariantami fine-tuned oraz podejściami hybrydowymi łączącymi siłę AI z wiedzą człowieka. To kierunek kluczowy dla praktycznego zastosowania LLM-ów w badaniach naukowych.