Nowe badanie z arXiv analizuje, jak cytowania wpływają na preferowanie odpowiedzi przez ludzi i modele językowe w kontekście odpowiadania na pytania naukowe. Kluczowe pytanie brzmi: czy cytowania rzeczywiście poprawiają postrzeganą jakość odpowiedzi i w jaki sposób?
Badacze wykorzystali modele efektów mieszanych do zbadania wpływu cytowań na osąd par odpowiedzi. Przeanalizowali preferencje czterech otwartych modeli LLM oraz oceny ludzi. Kluczowe ustalenia pokazują, że ludzie preferują odpowiedzi z mniejszą ilością cytowań, ale bardziej zróżnicowanymi źródłami. Interesujący jest też fakt, że modele językowe wykazują określone preferencje związane z cytowaniami, mimo iż nie mają dostępu do rzeczywistych źródeł - jednak te preferencje różnią się w zależności od konkretnego modelu i zestawu danych.
To badanie ma znaczący wpływ na proces tworzenia preferencyjnych danych treningowych, który jest centralny dla reward modelingu i post-trainingu nowoczesnych LLM. Cytowania są kluczowe dla redukcji halucynacji modeli i weryfikacji wiarygodności odpowiedzi przez użytkowników. Odkrycia naukowców sugerują, że należy zastanowić się nad tym, jak człowiek i maszyna oceniają atrybutywność podczas budowania zbiorów danych do trenowania systemów rekomendacyjnych dla modeli AI.