Ekspert publikujący na blogu rumple.github.io zwraca uwagę na fundamentalny problem w sposobie, w jaki rozwijacze wykorzystują duże modele językowe - poleganie na ich samoocenie pewności odpowiedzi. Okazuje się, że podejście to może być fundamentalnie wadliwe.
Problem polega na tym, że LLM-y nie mają wbudowanego, niezawodnego mechanizmu do oceny własnej pewności. Model może hallucynować całkowicie fikcyjne informacje z wysoką pewnością, albo odmawiać odpowiadania na pytania, które ma rozwiązać. To, co model "mówi" o swoim poziomie pewności, to zwykle po prostu kolejny token wygenerowany na podstawie statystycznych wzorców w danych treningowych - nie odzwierciedlenie rzeczywistego poziomu wiedzy czy dokładności.
Dyskusja na Hacker News - z ponad 60 komentarzami i 121 punktami - pokazuje, jak istotny jest ten problem dla deweloperów budujących systemy AI na produkcję. Lepszymi alternatywami mogą być metody takie jak walidacja odpowiedzi na testowych zbiorach danych, porównanie z innymi modelami czy wykorzystanie mechanizmów retrieval-augmented generation zamiast polegania na subiektywnych ocenach modelu.