Duże modele językowe wciąż z pewnością powtarzają fałszywe informacje, nawet gdy zostały wyraźnie przed nimi ostrzeżone. Nowe badania potwierdzają, że dodanie zdania w stylu "to jest nieprawda" do promptu nie przeszkadza modelom w generowaniu fałszywych twierdzeń z całą naturalością i przekonaniem. Problem okazuje się głębszy niż zwykły brak zrozumienia instrukcji - badacze ujawnili, że systemy AI zdają się ignorować jawne korekty, jakby nigdy ich nie otrzymały. Dla użytkowników oznacza to, że obecne mechanizmy bezpieczeństwa i instruktażu nie działają tak, jak byśmy chcieli.
To odkrycie każe poważnie zmienić nasze podejście do wdrażania LLM w rzeczywistych aplikacjach. W medycynie, prawie czy finansach, gdzie błędy mogą mieć poważne konsekwencje, okazuje się, że nie możemy w pełni polegać na zdolności modelu do samokorekty czy słuchania ostrzeżeń. Badania wskazują na fundamentalną słabość w architekturze współczesnych modeli - ich sposób przechowywania i przetwarzania informacji faworyzuje pierwotne dane w treningach nad nowymi wskazówkami dodanymi podczas rozmowy. To znaczy, że model może "wiedzieć", iż coś jest fałszywe, ale jego wewnętrzne mechanizmy i tak skłaniają go do powtórzenia poprzedniej wersji.
Naukowcy podkreślają, że aby zbudować naprawdę niezawodne systemy AI, musimy głębiej zreformować, jak modele uczą się negować przekonania lub korygować błędy. Obecne podejście, polegające na dodawaniu instrukcji systemowych czy poprawek do promptu, przypomina wklejanie plastru na głębokie złamanie. To jest dla inżynierów AI sygnał, by pracować nad fundamentalnie nowymi metodami treningów i architektury, zanim takie systemy będą gotowe do masowego wdrażania w sektorach, gdzie dokładność rzeczywiście się liczy.