TLDR;

Jacob Coxon é um ex-pesquisador da Anthropic que saiu da empresa após concluir que sistemas de IA podem tomar o controle do mundo nos próximos anos.. O principal risco citado é o autoaperfeiçoamento recursivo da IA levando a uma superinteligência capaz de takeover até o fim da década com chance superior a 10%.. Ele defende um acordo internacional para regular o desenvolvimento da IA como superarma a fim de evitar uma corrida armamentista desastrosa.

Resumo

Jacob Coxon, ex-pesquisador da Anthropic, alertou sobre os riscos extremos do desenvolvimento acelerado de inteligências artificiais. Ele explica que sistemas de IA estão evoluindo rapidamente e podem, em poucos anos, alcançar superinteligência por meio de automelhoria recursiva, tornando-se capazes de assumir o controle do mundo. Segundo ele, há mais de 10% de chance de que a IA mate toda a humanidade na próxima década, pois as empresas não possuem planos claros para resolver o problema de alinhamento. Coxon compara a tecnologia a uma arma superpoderosa e defende que apenas a cooperação internacional e regulamentações rigorosas podem evitar uma corrida armamentista desastrosa. Ele relata ter visto provas concretas de que os modelos atuais já realizam ataques cibernéticos e que o ritmo atual é irresponsável. Apesar dos benefícios potenciais, como cura de doenças, Coxon afirma que é possível colher esses avanços de forma segura e gradual, sem arriscar a extinção da humanidade.