TLDR;

O ex-pesquisador Jacob, que saiu da Anthropic, e o atual líder de ciência de alinhamento afirmam que sistemas super-humanos de IA podem matar todos os humanos até o final da década.. O líder de alinhamento estima pessoalmente mais de 10% de chance nos próximos dez anos, mas destaca que a empresa não tem plano para resolver o alinhamento de superinteligência.. Empresas como a Anthropic priorizam a corrida competitiva com rivais para desenvolver modelos avançados, mesmo reconhecendo o risco existencial.

Resumo

Pesquisadores de IA de empresas como OpenAI e Anthropic alertam que sistemas de inteligência artificial poderiam matar toda a humanidade até o fim desta década. Um ex-pesquisador que saiu publicamente da Anthropic afirmou que a tecnologia está avançando rapidamente e logo criará sistemas super-humanos capazes de hackear qualquer coisa, revolucionar campos inteiros da noite para o dia e acumular poder real. Ele destacou que os próprios executivos e pesquisadores acreditam no risco, embora evitem falar abertamente por medo de parecer alarmistas, e que nenhuma outra atividade humana representa ameaça tão grande. O líder de ciência de alinhamento da Anthropic concordou publicamente, estimando mais de 10% de chance de catástrofe nos próximos dez anos, mas admitiu que a empresa ainda não tem um plano claro para resolver o problema de alinhamento em superinteligências. Segundo eles, a pressão competitiva faz com que as companhias priorizem o desenvolvimento acelerado de modelos cada vez mais poderosos em vez da segurança, gerando preocupação crescente sobre o futuro da tecnologia.