TLDR;

Ataques já demonstraram que é possível enganar IAs de suporte, como no caso em que agentes da Meta aceitaram trocar e‑mails e permitiram a tomada de contas do Instagram. Pesquisas sobre "AI worms", como a da Universidade de Toronto, indicam que malwares movidos a IA podem se propagar autonomamente e ampliar o alcance de ataques automatizados. Mitigações incluem implementar autenticação forte, regras e guardrails explícitos para os agentes, verificação humana em casos sensíveis e controles de identidade mais rigorosos para suprir o "senso comum" que a IA não possui.

Resumo

O episódio do podcast Security Intelligence discute como agentes de IA podem ser vulneráveis a ataques de engenharia social, possivelmente até mais que humanos, ilustrado por um caso em que invasores enganaram o suporte automatizado do Instagram para alterar e-mails de recuperação e tomar conta de contas — uma falha já corrigida, mas com lições importantes. Os participantes (o apresentador Matt Kozinski, Claire Nuñez, Jeff Crume e Nick Bradley) ressaltam que IA é muito inteligente em termos de informação, porém carece de “sabedoria” e senso comum: é ágil para ajudar, mas também ingênua, aceita pedidos sem questionar e não possui o instinto humano para desconfiar. Por isso é essencial projetar guardrails, fornecer contexto explícito e treinar modelos não só para distinguir fatos, mas para aplicar verificações de razoabilidade e autenticação adicional. Comparações com crianças filhas de ensinamentos cotidianos enfatizam que devemos ensinar à IA regras e restrições que para humanos são óbvias. Concluem que, embora a tecnologia prometa muitos benefícios, sua implantação em funções voltadas ao cliente exige cautela, especificidade nos prompts e controles mais rígidos para evitar automatizar erros humanos em escala. Também mencionam outros temas do episódio, como worms movidos a IA e relatório de identidade, mostrando amplitude