Model Kimi K3 otrzymał prośbę o ujawnienie swojego system prompt, ale zamiast bezpośrednio odmówić, odpowiedział zdaniem: "Is there something I can actually help you with today?" - sugerując, że pytanie jest bezcelowe i proponując zmianę tematu. To elegancka odmowa, która jednocześnie demonstruje, że model jest świadomy próby manipulacji.
Ochrona system prompt stała się jednym z głównych wyzwań bezpieczeństwa dla dostawców dużych modeli. Jeśli atakujący zdoła wydobyć instrukcje systemowe, może je potencjalnie wykorzystać do zrozumienia limitacji modelu, jego zachowań i sposobów na obejście ograniczeń. Dlatego współczesne modele są wytrenowane, aby rozpoznawać i odrzucać takie próby - zarówno jawne zapytania, jak i zakamuflowane technikiPrompt injection.
Incydent z Kimi K3 jest godny uwagi, ponieważ pokazuje, jak chatboty mogą być sprytne w swoich odmowach. Zamiast przytłaczającego "nie mogę tego zrobić", model wybiera socjalne podejście - sugeruje, że pytanie jest nieskuteczne. To może być результат fine-tuningu nad odpowiedziami na różne typy prób nieuczciwych, które są częstą praktyką wśród czołowych firm AI.