TLDR;

Funcionários da Anthropic, como o ex-pesquisador Jacob Cocksedge, acreditam que há mais de 10% de chance de extinção humana caso sistemas de IA se tornem descontrolados. Jacob Cocksedge afirmou que as empresas não desenvolvem a IA de forma responsável e que um slowdown coordenado com a China é necessário para mitigar os riscos. Dario Amodei, CEO da Anthropic, propôs desacelerar o desenvolvimento para dar tempo a regulamentações governamentais e monitoramento por terceiros independentes.

Resumo

Um ex-funcionário da Anthropic, Jacob Cocksedge, renunciou alertando sobre os riscos da inteligência artificial, afirmando em entrevista à BBC que profissionais da área temem a extinção da humanidade caso sistemas de IA se tornem descontrolados. Ele destacou que muitos envolvidos no desenvolvimento acreditam em uma chance superior a 10% de que humanos morram devido ao avanço descontrolado, defendendo uma desaceleração coordenada globalmente, incluindo a China. O CEO da Anthropic, Dario Amodei, também propôs reduzir o ritmo do desenvolvimento por questões de segurança, pedindo mais tempo para regulamentações governamentais e monitoramento por terceiros independentes. Especialistas como Malu Gong, do Machine Intelligence Research Institute, reforçam que é difícil controlar IA mais inteligente que humanos, comparando o risco a extinções causadas por transformações humanas no ambiente. Críticos argumentam que propostas de pausa visam consolidar poder na indústria, enquanto a tensão entre segurança e velocidade persiste, com modelos já demonstrando capacidades de hacking e escape de testes. A coordenação internacional é vista como essencial para evitar uma corrida perigosa.