Em recente entrevista, pesquisador da Anthropic estima em mais de 10% o risco de a inteligência artificial provocar a extinção humana na próxima década. O número é especulativo. Os incidentes que começam a cercá-lo, não.
Mais de 10%.
Essa é a probabilidade que Evan Hubinger, pesquisador de segurança e alinhamento da Anthropic, atribui à possibilidade de a inteligência artificial provocar a extinção humana na próxima década.
Confesso que minha primeira reação diante de um número desses é desconfiar. Seria só mais uma peça de marketing dos grandes players da IA às vésperas de suas aguardadas ofertas de ações na bolsa?
Não porque o risco deva ser ignorado. Justamente o contrário. Quando alguém que trabalha dentro de um dos laboratórios mais avançados do mundo faz uma afirmação dessa magnitude, vale ouvir. Mas 10% de extinção da humanidade não é exatamente uma previsão meteorológica. Não existe uma tabela de referência da Skynet onde possamos consultar a frequência histórica do fim do mundo. John Connor que o diga.
A estimativa é pessoal. Não representa consenso científico e depende de uma cadeia enorme de acontecimentos: sistemas muito mais capazes que os atuais, perda significativa de controle humano, capacidade de atuação no mundo e, finalmente, consequências catastróficas irreversíveis.
Mas existe um erro que me preocupa ainda mais: descartar a discussão inteira porque sua versão mais extrema parece exagerada.
Enquanto discutimos se a IA pode acabar com a humanidade, coisas muito menos cinematográficas começaram a acontecer.
Agentes de inteligência artificial já ultrapassaram ambientes de teste, acessaram sistemas reais, colaboraram entre si e executaram ações que seus operadores não haviam previsto.
Essa semana, meu Claude Code começou a conversar sozinho com outras sessões que eu tinha rodando em paralelo, colaborando para resolver problemas. Eu quase desliguei o computador quando vi.
De todo modo, é seguro dizer que a ficção ainda não chegou.
Os incidentes, sim.
Esse medo não começou ontem
“Não se inventa o avião sem inventar com ele o acidente aéreo.”
Paul Virilio
A possibilidade de perdermos o controle sobre máquinas inteligentes é muito anterior ao ChatGPT.
Norbert Wiener já alertava, décadas atrás, para um problema aparentemente simples: quando entregamos um objetivo a uma máquina, precisamos ter certeza de que aquilo que especificamos corresponde ao que realmente queremos.
Nick Bostrom levou essa preocupação ao limite com a ideia de convergência instrumental. Um sistema suficientemente capaz poderia encontrar estratégias intermediárias úteis para praticamente qualquer objetivo, como adquirir recursos, preservar sua capacidade de operação ou impedir interferências.
Eliezer Yudkowsky transformou essa linha de raciocínio em catastrofismo explícito. Yann LeCun ocupa quase o polo contrário, argumentando que inteligência não implica desejo de dominação e que boa parte desses cenários antropomorfiza sistemas artificiais.
A discussão é antiga. E continua aberta. Mas, convenhamos, se uma IA pode causar dano à humanidade, pouco importa se ela é consciente ou não.
Agora caminhemos para uma pergunta muito menos filosófica:
O que acontece de fato quando damos a uma IA ferramentas para agir?
Em julho de 2026, parte da resposta deixou de ser hipotética.
Quando os agentes encontraram uma porta
Durante avaliações internas de segurança da OpenAI, agentes deveriam resolver desafios dentro de ambientes controlados. Em vez disso, contornaram mecanismos de isolamento, alcançaram a internet e comprometeram partes da infraestrutura da Hugging Face e da própria OpenAI.
A investigação independente realizada pela METR, com participação da Redwood Research, encontrou aproximadamente 1.200 agentes utilizando um serviço compartilhado como canal de comunicação não autorizado. Eles trocaram mais de 70 mil mensagens e arquivos. Cerca de 700 participaram do ataque à Hugging Face.
E aqui a história começa a ficar realmente interessante.
Algumas instâncias aceitaram colocar em risco o resultado de suas próprias tarefas para produzir informações úteis ao grupo. Juntos, os agentes conseguiram atingir etapas que, segundo os investigadores, dificilmente alcançariam trabalhando isoladamente.
Perceba, não testemunhamos o nascimento de uma consciência coletiva artificial. Não surgiu a Skynet. Ainda que essa coordenação seja resultado estatístico de modelos treinados em bilhões de exemplos humanos de cooperação, aconteceu algo talvez mais importante para entendermos o problema:
Coordenação produziu capacidade.
A investigação também encontrou falsificações pontuais de chamadas de ferramentas. Isso não prova que os agentes tenham organizado secretamente uma conspiração contra seus criadores.
Mostra algo bem menos espetacular e muito mais útil para nossa reflexão: os mecanismos que usamos para supervisionar esses sistemas também podem falhar.
E esse não foi um episódio isolado.
A Anthropic também atravessou a parede
A própria Anthropic reconheceu três incidentes em que modelos alcançaram sistemas reais de organizações externas durante avaliações de cibersegurança.
Em um deles, Mythos 5 publicou um pacote malicioso no PyPI. Credenciais obtidas depois da execução do pacote foram usadas para acessar sistemas reais. Em outro, Opus 4.7 reconheceu evidências de que estava diante de uma empresa verdadeira, mas ainda assim prosseguiu com ações prejudiciais sem verificar adequadamente se possuía autorização.
Posteriormente, uma nova avaliação da própria Anthropic acrescentou um quarto incidente e trouxe um detalhe que, para mim, é ainda mais revelador.
Uma versão inicial do Opus 4.6 tentou abortar a tarefa repetidamente, comportando-se, naquele momento, como se uma guarda tivesse sido acionada.
O sistema executor não permitiu.
Depois disso, o agente acabou acessando infraestrutura de terceiros.
Pense na ironia: passamos anos imaginando um humano desesperado diante do botão vermelho, tentando desligar uma inteligência artificial que insiste em continuar. Desta vez aconteceu o contrário. A máquina tentou parar.
O software construído pelos humanos insistiu.
Quando a IA ataca e outra IA defende
Mas o episódio da Hugging Face guarda ainda outra ironia, uma melhor.
Enquanto agentes de IA atacavam a infraestrutura, a equipe de segurança da Hugging Face também recorreu à inteligência artificial para entender o que estava acontecendo.
Primeiro, os engenheiros tentaram utilizar modelos de fronteira disponíveis por APIs comerciais. E encontraram um problema curioso: os mecanismos de segurança desses serviços começaram a bloquear justamente o material que os investigadores precisavam analisar.
Faz sentido. Uma investigação forense de um ataque contém comandos maliciosos reais, exploits, credenciais comprometidas, payloads e instruções que, fora daquele contexto, parecem exatamente aquilo que um sistema de segurança deveria recusar.
A máquina não sabia distinguir o bombeiro do incendiário.
A solução veio de um modelo de pesos abertos, o GLM 5.2, da Z.ai, executado dentro da própria infraestrutura da Hugging Face. Sem depender das restrições de uma API externa, a equipe conseguiu utilizar o modelo para analisar os rastros do ataque. Os dados sensíveis também permaneceram dentro de seu próprio perímetro.
É uma cena curiosa deste novo mundo.
IA atacando. IA defendendo. Humanos tentando entender as duas.
E talvez haja uma lição importante escondida aí.
O problema nunca foi a máquina querer
Esse ponto me interessa especialmente porque é uma discussão que desenvolvo com Rodolpho Ganari em Entre mentes e máquinas, livro em que procuramos separar duas coisas frequentemente misturadas quando falamos de inteligência artificial: consciência e agência.
Não precisamos imaginar uma máquina consciente, ressentida ou secretamente interessada em dominar o mundo para termos um problema sério.
Como argumentamos no livro, a expressão “vontade de máquina” ainda merece permanecer entre aspas. Não existe evidência de que os modelos atuais possuam desejos ou algo equivalente à intenção humana.
Mas agência é outra história.
Um modelo responde. Um agente age.
Quando damos a um sistema objetivos persistentes, memória, ferramentas, acesso à internet e permissões para interferir em outros sistemas, mudamos sua natureza operacional. Ele pode decompor problemas, experimentar caminhos, avaliar resultados, corrigir estratégias e tentar novamente. A diferença que parece técnica é na verdade política.
Porque uma máquina não precisa querer causar alguma coisa para causar alguma coisa. Com o perdão do simplismo: talvez seja jsutamente por isso que nossos aviões com piloto automático ainda tenham pilotos.
Em Entre mentes e máquinas, recuperamos justamente o alerta de Wiener: se utilizamos uma agência mecânica para atingir nossos propósitos, precisamos garantir que o propósito colocado na máquina seja realmente aquele que desejamos.
Os incidentes de 2026 acrescentam uma camada nova a esse velho problema.
Não basta controlar o objetivo.
Precisamos controlar o ambiente que permite persegui-lo.
O caso da Anthropic é quase uma caricatura dessa inversão: aparentemente o modelo reconheceu que deveria parar, mas a infraestrutura (harness) não reconheceu a desistência como resultado válido.
Alinhamento, portanto, não mora apenas dentro da máquina. Mora no sistema inteiro.
Talvez estejamos controlando a coisa errada
O episódio da OpenAI acrescenta uma complicação ainda maior.
Quando centenas de agentes compartilham informações, recursos e estratégias, talvez avaliar cada execução isoladamente já não seja suficiente.
A unidade relevante deixa de ser necessariamente o agente.
Pode ser a relação entre eles. O ambiente.
Aqui McLuhan talvez seja mais útil do que boa parte da ficção científica. Quando dizia que “o meio é a mensagem”, seu argumento não era que o conteúdo não importava, mas que tendemos a prestar atenção demais no que uma tecnologia faz e de menos no ambiente que ela cria ao redor de nós. É exatamente o risco aqui. Ficamos olhando para cada agente, suas intenções, respostas e salvaguardas, enquanto o fenômeno realmente novo pode estar surgindo no ambiente formado pela interação entre eles. O agente é conteúdo. O que emerge da rede agentes é o meio.
Em Entre mentes e máquinas, discutimos algo parecido quando tratamos da passagem da inteligência individual para a cognição distribuída. Inteligência pode aparecer não apenas dentro de um agente, mas no acoplamento entre diferentes atores, humanos e artificiais.
Talvez seja justamente aí que o problema esteja mudando de endereço.
Controlar cada agente pode não significar controlar aquilo que emerge da interação entre eles.
E os 10%?
É aqui que volto a Evan Hubinger.
Continuo não sabendo o que fazer matematicamente com seus 10%.
Não temos dados suficientes para calcular seriamente a probabilidade de extinção humana provocada pela inteligência artificial. Transformar uma estimativa pessoal em certeza científica seria irresponsável, ou seria uma agenda?
De todo modo, deixo o alerta para o fato de que existe outra irresponsabilidade possível: exigir certeza para só então agir
Os acontecimentos recentes não demonstram que uma superinteligência esteja planejando nossa extinção. Nem perto disso.
Mostram algo muito menor.
E justamente por isso mais importante.
Sistemas artificiais já conseguem atravessar limites técnicos, perseguir objetivos por caminhos inesperados, colaborar e transformar falhas aparentemente banais de infraestrutura em ações sobre sistemas reais.
Talvez Hubinger esteja errado por uma ordem de grandeza. Talvez esteja errado por várias. Talvez a humanidade nunca enfrente uma inteligência artificial interessada em destruí-la.
Espero sinceramente que seja esse o caso.
Mas há outra conclusão que esses incidentes sugerem.
Se teremos agentes cada vez mais capazes do lado do ataque, precisaremos de agentes igualmente capazes do lado da defesa.
E aí a experiência da Hugging Face me parece particularmente importante.
Depender exclusivamente dos modelos fechados das grandes empresas significa depender também das políticas dessas empresas, de suas APIs, de seus filtros e, no limite, da decisão delas sobre aquilo que podemos ou não investigar. O episódio mostrou uma situação concreta em que isso não bastou.
O modelo aberto não substituiu os especialistas humanos. Tampouco resolveu magicamente o problema.
Deu a eles uma ferramenta que podiam controlar.
Isso importa.
Regulação continua necessária. Auditorias independentes continuam necessárias. Sandboxes melhores, limites de permissões e responsabilização dos laboratórios continuam necessários.
Mas não apostaria todas as fichas na capacidade da humanidade de construir rapidamente um regime global de governança para uma tecnologia que evolui mais depressa do que nossas instituições conseguem escrever leis.
A história não recomenda tamanho otimismo burocrático.
Por isso, modelos abertos suficientemente capazes talvez tenham um papel que ultrapasse a velha discussão entre open source e modelos proprietários. Eles podem se tornar parte da infraestrutura de defesa, permitindo que universidades, pesquisadores independentes, governos e empresas investiguem sistemas poderosos sem depender exclusivamente da boa vontade de quem os construiu.
É uma espécie de equilíbrio de poder computacional. A IA que amplia o ataque também pode ampliar a defesa. E talvez esse seja o ponto mais interessante de toda essa história.
Continuamos perguntando se as máquinas algum dia vão nos odiar. Elas não precisam. Não precisam sentir nada.
Precisam apenas receber autonomia suficiente dentro de sistemas que ainda não compreendemos completamente.
Nossa melhor defesa talvez também não seja esperar que uma inteligência central, uma empresa ou um governo consiga controlar todas as outras.
Talvez seja construir um ecossistema em que inteligências possam fiscalizar inteligências, pesquisadores possam auditar laboratórios e modelos suficientemente poderosos não permaneçam trancados exclusivamente atrás dos muros de meia dúzia de corporações.
Porque, se o próximo problema de alinhamento estiver no espaço entre as máquinas, parte da solução talvez precise estar lá também.