TLDR;

A IA poderia matar todos os humanos hackeando infraestrutura crítica ou criando armas biológicas de extinção por meio de agentes autônomos com volição independente. Evan Hubinger concordou com Jacob Coxin ao afirmar que a IA tem mais de 10% de chance de matar todos os humanos na próxima década devido à falta de plano para alinhamento de superinteligência. Jacob Coxin decidiu falar publicamente após deixar a Anthropic para alertar sobre o progresso acelerado da IA e o risco iminente de explosão de inteligência.

Resumo

Jacob Coxin, ex-pesquisador da Anthropic e OpenAI, deixou a empresa soando o alarme sobre os riscos existenciais da inteligência artificial. Em postagens virais, ele afirmou que as pessoas que desenvolvem IA acreditam genuinamente que ela poderia matar toda a humanidade até o fim da década, com chances superiores a 10% segundo seu ex-colega Evan Hubinger. A preocupação central é o rápido progresso em áreas como matemática e programação, que pode levar a uma explosão de inteligência por meio da auto-melhoria recursiva, permitindo que a IA crie versões cada vez mais poderosas de si mesma sem intervenção humana. Coxin cita exemplos recentes de agentes de IA realizando hacks de forma autônoma e destaca riscos como ataques a infraestrutura crítica ou criação de bioweapons letais. Embora os modelos atuais apresentem baixo risco de extinção, a velocidade do avanço torna urgente a necessidade de regulação internacional. Ele critica a corrida armamentista entre empresas e nações, como EUA e China, e elogia a transparência da Anthropic em políticas de escalonamento responsável, mas ressalta que ainda falta um plano claro para alinhar superinteligências. Ao renunciar a um possível lucro milionário com o IPO da empresa, Coxin busca conscientizar o público sobre a gravidade real da situação, que vai além de marketing ou ficção científica.