TLDR;

Roman Yampolskiy, pesquisador que cunhou o termo "AI safety" e passou 15 anos na área, concluiu que controlar uma superinteligência é impossível porque cada solução revela muitos novos problemas e as medidas atuais são apenas remendos. Ele adverte que perseguir e lançar superinteligência sem garantia de segurança é uma missão suicida que pode provocar consequências catastróficas e por isso quem insistir nessa rota corre risco de não "sobreviver" além de 2030. Como alternativa, recomenda desacelerar a corrida, evitar construir agentes gerais, focar em sistemas estreitos e úteis e ganhar tempo para buscar soluções ou incentivos que realmente comprovem controle seguro, lembrando que empresas hoje tendem a priorizar lucro sobre segurança.

Resumo

O Dr. Roman Yampolskiy, que cunhou o termo "AI safety" e passou 15 anos tentando tornar a IA segura, concluiu que isso é impossível: cada componente do problema revela novos subproblemas em modo fractal, e enquanto as capacidades da IA crescem exponencialmente, as soluções de segurança avançam de forma linear ou constante, ampliando a lacuna. As defesas atuais são remendos — políticas e código por cima de modelos cada vez mais potentes — que adversários contornam com jailbreaks; não existe trabalho seminal que resolva de vez o alinhamento. Equipes de superalinhamento surgem e desaparecem (ex.: OpenAI) porque o problema é qualitativamente impossível, não apenas difícil. A indústria corre para construir agentes superinteligentes por incentivos econômicos e geopolíticos: quem dominar terá vantagem militar, e o custo de treinar modelos vem caindo, tornando a corrida inevitável. Propostas como vigilância planetária são impraticáveis; confiar que IAs controlarão IAs é arriscado. Yampolskiy recomenda desviar esforços para ferramentas úteis e inteligências estreitas, retardar o desenvolvimento de agentes gerais e evitar a rota direta para superinteligência que pode levar a uma missão suicida para a humanidade. Ele propõe prêmios públicos para quem demonstrar controle seguro, embora reconheça baixa probabilidade de sucesso e necessidade de regulação internacional urgente imediata.