Perplexity zamknęła drzwi staremu silnikowi wyszukiwania i otwiera nowe z Photonem - własnym narzędziem napisanym w Rust, które radykalnie przyspiesza wyszukiwanie. Nowa platforma obsługuje teraz całą produkcyjną infrastrukturę wyszukiwania i zaoferowała Fast Search mode w API, osiągając opóźnienia 160 ms na p50 oraz 230 ms na p95. Wcześniej system wpadał w tarapaty przy p99 - siedział tam koło 800 ms.
Przejście nie było przypadkiem. Stary widelec open-source'owego silnika walczył z trzema istotnymi problemami. Po pierwsze, indeks rósł szybciej niż RAM, co generowało poważne błędy stron pamięciowych przy zimnych odczytach. Po drugie, fuzja indeksów dyskowych wywoływała skoki opóźnień do 1,2 sekundy przez 10-15 minut. Po trzecie, dodanie nowego klastra i synchronizacja zajmowała ponad tydzień. Zespół Perplexity zdecydował, że budowa od zera będzie łatwiejsza i tańsza niż utrzymanie forka.
Photon został zaprojektowany modularnie - load balancer kieruje zapytania do brokera, który rozprzestrzenia je na grupy shardów. Każdy shard wykonuje retrieval, ranking początkowy i drugi etap rankingu. Broker następnie scaleniami kandydatów i pobiera ważne pola dokumentów. Silnik korzysta z adaptacyjnych list postingów, gdzie krótkie listy siedź inline w jednej stronie pamięci, a dłuższe rozproszono na dysku. Fast Search mode dostępny jest przez API za dolara na tysiąc żądań, ale sam Photon nie jest open-source - nie można go hostować samodzielnie.