TLDR;

Dario Amodei concorda mais do que discorda com as preocupações sobre o risco de a IA matar todos os humanos, mas destaca que isso depende das escolhas da indústria. Ele evita estimativas incondicionais de probabilidade e prefere focar na agência humana para seguir caminhos que tornem o risco muito baixo. Amodei propõe o pacing da fronteira da IA com avaliadores embutidos, coordenação democrática entre empresas e coordenação global para desacelerar o avanço de forma segura.

Resumo

No trecho, Dario Amodei, CEO da Anthropic, comenta as declarações de Jacob Coxon e Evan Hubinger sobre o risco existencial da IA, que poderia eliminar a humanidade com mais de 10% de probabilidade até o fim da década. Ele concorda em parte com essas preocupações, mas prefere decompor as probabilidades em caminhos que levam ao sucesso ou ao fracasso, enfatizando a necessidade de escolhas conscientes. Amodei propõe “pacing the frontier”, ou seja, desacelerar o avanço das capacidades dos modelos de IA para ganhar tempo e usá-lo de forma sábia. A proposta tem três pilares: avaliadores embutidos nas empresas, coordenação entre democracias e coordenação global. Ele destaca o apoio recente de Sam Altman e Elon Musk, ressalta o papel do governo para viabilizar a colaboração sem violar leis antitruste e afirma que, sem cooperação, o risco de uso indevido da tecnologia aumenta significativamente.