Naukowcy opracowali nowy benchmark Deep FinResearch Bench, który po raz pierwszy w systematyczny sposób ocenia, czy modele AI potrafią wykonywać zawodową pracę badaczy inwestycyjnych. Chodzi tu nie o proste wyliczenia czy ekstrakcję danych ze sprawozdań finansowych, ale o złożoną analizę fundamentalną, prognozowanie trendów rynkowych i podejmowanie rekomendacji dotyczących portfela akcji - dokładnie takie zadania wykonują analitycy w largest inwestmentowych funduszach i bankach.
Do tej pory brakowało narzędzia do rzetelnego testowania takich umiejętności. Istniejące benchmarki skupiały się głównie na ogólnych zdolnościach NLP lub matematycznych - ale nie sprawdzały, czy duże modele językowe potrafią myśleć jak doświadczeni inwestorzy. Deep FinResearch Bench zmienia to podejście, oferując zestawienie rzeczywistych scenariuszy z finansów: analizę raportów kwartalnych, ocenę konkurencyjności branżowej, identyfikację ryzyka operacyjnego, czy wycenę spółek metodami zdyskontowanych przepływów pieniężnych. To oznacza, że możemy teraz obiektywnie sprawdzić, czy GPT-4, Claude czy inne systemy rzeczywiście rozumieją finanse, czy tylko przypominają sobie fragmenty tekstów zawierających słowa dotyczące inwestycji.
Wyniki mogą mieć realne konsekwencje dla branży finansowej. Jeśli modele AI będą wykazywać wysoką dokładność w takich badaniach, robi się pytanie o regulacje i odpowiedzialność - czy algorytm może rekomendować akcje? Jednocześnie benchmark ten stanie się punktem odniesienia dla firm pracujących nad AI dla fintech'u, pokazując, gdzie rzeczywiście leżą granice obecnych technologii i co trzeba jeszcze poprawiać.