TLDR;

Pesquisadores alertam que o ritmo acelerado de desenvolvimento de IA pode gerar modelos autônomos que ultrapassem nosso controle, colocando em risco a segurança global. Líderes de empresas como Anthropic e OpenAI concordaram em “pacing” o progresso, implementando limites de velocidade e salvaguardas, embora o investimento continue alto. Relatórios apontam casos reais de uso de modelos como Claude para aprimorar programas de armas biológicas em países como Rússia, Coreia do Norte e China.

Resumo

Na última semana, um pesquisador de uma das maiores empresas de IA alertou que a corrida por máquinas cada vez mais poderosas pode levar à extinção humana; dias depois, o CEO da mesma companhia publicou um ensaio pedindo desaceleração da indústria. Enquanto Trump ridicularizou o aviso como conspiração, políticos americanos começaram a exigir ação legislativa, e o rei Carlos convocou líderes da Nvidia, Google, OpenAI e Anthropic para discutir os riscos. No programa AI Decoded, especialistas como Andy Weber, ex‑secretário de defesa dos EUA, e Max Corbridge, da Secure Agentics, destacaram que os próprios desenvolvedores reconhecem ameaças reais: ataques cibernéticos, perda de controle sobre sistemas autônomos e uso da IA para melhorar armas biológicas. Relatórios da Anthropic apontam cinco casos em que o modelo Claude foi explorado para possíveis armas biológicas por países como Rússia, Coreia do Norte e China. A velocidade de evolução dos modelos, a prática de auto‑melhoria e o desenvolvimento interno dificultam a detecção precoce de riscos. Embora empresas como Anthropic, OpenAI e Google tenham concordado em “pacing” – reduzir o ritmo sem parar – críticos questionam se isso representa um freio ou apenas uma desaceleração, enquanto o investimento continua alimentando a corrida competitiva entre EUA e China.