Citrini Research, firma zajmująca się badaniami inwestycyjnymi, podjęła się eksperymentu mającego udowodnić, że sztuczna inteligencja może zrewolucjonizować tworzenie leków. Razem z Anthropic postanowiła sprawdzić, czy nieudostępniona publicznie wersja Claude'a potrafi stworzyć antydotum na jad skorpiona. Rezultat był rozczarowujący - model nie zdołał utworzyć czegokolwiek zbliżonego do faktycznego leku, choć zaproponował kilka potencjalnie obiecujących punktów startowych.
Co znamienne, Citrini Research przyznała, że nikt w zespole nie miał jakichkolwiek rzeczywistych kompetencji w dziedzinie biologii ani AI. To jednak nie powstrzymało firmy przed opublikowaniem artykułu na blogu pod tytułem "Chcieliśmy użyć Claude'a do stworzenia nowego leku. Oto co się stało". Eksperyment ukazuje dużą przepaść między medialnymi obietnicami AI a rzeczywistymi możliwościami modeli językowych w złożonych zadaniach naukowych.
Historia stała się przykładem nazbyt optymistycznego podejścia do możliwości AI w farmakologii. Podczas gdy modele są coraz lepsze w analizie tekstu i generowaniu pomysłów, to opracowanie nowego leku wymaga głębokich wiedzy naukowej, testów laboratoryjnych i lat badań klinicznych - rzeczy, które model językowy po prostu nie może zrobić samodzielnie.