Zamiast zmuszać model do wyboru spośród tysięcy gotowych tagów, można mu pozwolić na wymyślenie nowych kategorii, które następnie mapujemy na istniejące słowa kluczowe. Simon Willison ma bloga z 1856 tagami - za dużo, aby naraz wysłać LLM-owi. Rozwiązanie Douga Turnbulla elegancko omija ten problem: model generuje etykiety bez dostępu do pełnego słownika, a system z pomocą embeddings znajduje najbliższe rzeczywiste tagi z korpusu.
Klucz do sukcesu to pokazanie modelowi przykładów pożądanego formatu tagów. Turnbull sugeruje uwzględnienie w prompt-cie przykładowych klasyfikacji hierarchicznych - np. Furniture / Living Room Furniture / Coffee Tables czy Kitchen & Tabletop / Kitchen Organization. W ten sposób model lepiej rozumie strukturę i charakterystykę kategorii, które powinien wymyślić.
Podejście łączy mocne strony generacji (elastyczność, kreatywność) z practicality wektorowych embeddings. Zamiast klasyfikacji jako wyboru z listy, mamy hallucynacyjne wymyślanie - co paradoksalnie może dać lepsze wyniki niż zmuszanie modelu do dyskretnego wyboru z przebogatego zestawu opcji. To rozwiązanie szczególnie przydatne dla dużych, organicznie rosnących systemów tagowania.