TLDR;

Michael Trazzi, ex-pesquisador de segurança em IA, fundador do Stop the AI Race e da produtora The Inside View, é quem faz o alerta. O “red line” é desenvolver IAs mais inteligentes que qualquer humano ou especialista, porque então elas poderiam criar ameaças como novos bioweapons e escapar do nosso controle. Ele propõe parar a corrida por capacidades com compromissos de pausa dos CEOs, coordenação governamental (especialmente entre EUA e China) e limites ao tamanho/treinamento dos modelos enquanto se prioriza alinhamento e segurança.

Resumo

Michael Trazzi, pesquisador de segurança em IA e fundador do movimento Stop the AI Race e da produtora The Inside View, relata como passou a se preocupar com os riscos da IA desde 2016, ao ver avanços muito mais rápidos que o esperado — exemplo: progresso em jogos e agora capacidades de resolver problemas matemáticos e auxiliar engenharia de software — e transformou essa inquietação em ativismo, realizando documentários e greves de fome, como a feita em frente ao Google DeepMind em Londres. Ele reconhece benefícios médicos e de eficiência, mas alerta que ganhos trazem trade‑offs: automação ameaça empregos e IAs mais inteligentes que humanos podem facilitar criação de bioweapons ou explorar vulnerabilidades de segurança, como no caso do modelo Cloud Mythos. Por isso defende interromper a “corrida” por modelos cada vez mais potentes, exigindo que empresas concordem em pausar treinos além de certo nível de capacidade, com declarações condicionais de CEOs e coordenação governamental, sobretudo entre EUA e China. Para Trazzi, protestos, vigílias e pressão pública são necessários para responsabilizar laboratórios e garantir que desenvolvimento beneficie a humanidade sem cruzar linhas perigosas. Ele acredita que acordos multilaterais e fiscalização independente são essenciais para implementação dessas medidas imediatas e efetivas.