TLDR;

Jacob Coxon se demitiu da Anthropic após três anos de pesquisa de pré-treinamento, afirmando que a empresa não age de forma responsável ao perseguir superinteligência autoaperfeiçoável. Ele declarou que as empresas estão apostando com nossas vidas, pois acreditam genuinamente que a IA poderia matar todos os humanos até o fim da década. Um líder de alinhamento da Anthropic concordou com ele, estimando em mais de 10% a chance de a IA matar todos os humanos na próxima década por falta de plano de alinhamento.

Resumo

Um ex-pesquisador da Anthropic, Jacob Coxon, renunciou à empresa e alertou publicamente que companhias como OpenAI e Anthropic estão correndo de forma irresponsável rumo à superinteligência artificial autossuperável, apostando com a vida da humanidade. Ele afirmou que executivos e pesquisadores acreditam genuinamente que a IA pode matar todos os humanos até o fim da década, com risco superior a 10% segundo um líder de alinhamento da própria Anthropic, que admitiu a falta de planos claros para resolver o problema de alinhamento. O debate que se seguiu envolveu discussões sobre regulação, com Bernie Sanders propondo banir o desenvolvimento de superinteligência sob pena de 20 anos de prisão, comparações com o filme “O Exterminador do Futuro” e dilemas entre acelerar a tecnologia para benefícios como cura do câncer e redução de mortes no trânsito versus os perigos de erros fatais, como carros autônomos em trilhos de trem. Defensores da cautela argumentam que a supervisão é essencial, enquanto opositores alertam que atrasos podem custar mais vidas do que o próprio avanço descontrolado da IA.