Liderzy czołowych firm zajmujących się sztuczną inteligencją, w tym CEO Anthropic Dario Amodei i Sam Altman z OpenAI, publicznie ostrzegają o niebezpieczeństwach wynikających z rozwijanych przez nich technologii. W ostatnich tygodniach Amodei argumentował, że postęp powinien być spowolniony, a Altman zgodził się z tą oceną. Tymczasem badacz AI Jacob Coxon opuścił Anthropic, zarzucając firmie i OpenAI brak odpowiedzialności. Na X napisał, że ludzie tworzący AI poważnie obawiają się, iż może ona nas wszystkich zabić do końca dekady. Inny pracownik Anthropic, Evan Hubinger, publicznie potwierdził te obawy, twierdząc że istnieje ponad 10 procent szansy na to w ciągu następnego dekady.
Jednym z głównych zagrożeń, które wywołują te lęki, jest potencjalne wykorzystanie AI do wspomagania projektowania, tworzenia i rozpowszechniania biobrojni. Mogłaby to być wysoko śmiertelny wirus dostosowany genetycznie do konkretnych populacji, grzybicę niszczącą uprawy i powodującą kryzys żywnościowy, czy bezwonne i bezbarwne toksyny, które mogłyby być wtracone do zbiornika wodnego bez śladu.
Problemem jest to, że narzędzia AI mogą być wykorzystane do generowania takich zagrażających agentów. W 2022 roku badacze z Collaborations Pharmaceuticals wykazali, że zadziwiająco łatwo można to zrobić za pomocą opracowanego przez nich generatora cząsteczek AI. To odkrycie pokazuje, jak duże jest ryzyko związane z możliwościami współczesnej sztucznej inteligencji i podkreśla pilną potrzebę wprowadzenia odpowiednich zabezpieczeń oraz wytycznych etycznych dla branży biotechnicznej.