TLDR;

Está longe de estar morta: embora modelos tenham absorvido muitas capacidades, a infraestrutura continua necessária para orquestração, execução persistente, conexões externas e para abrir novas fronteiras de tarefas. Essa ideia surgiu porque modelos mais avançados conseguem executar bem sem ambientes sofisticados e estudos mostraram pouco ganho em benchmarks, além do volante de dados que faz os modelos aprenderem habilidades antes implementadas pela infraestrutura. A infraestrutura ainda oferece recursos que o modelo não substitui, como tempo de execução, armazenamento e retomada de estado, orquestração de agentes de longa duração e integrações seguras com serviços externos.

Resumo

Jedidiah, engenheiro da Cursor agora na SpaceX, revisa a evolução da infraestrutura de agentes desde 2023, quando o cargo mais cobiçado era "engenheiro de prompt", passando por "engenheiro de contexto" até a consolidação recente de "infraestrutura de agentes" e "engenharia de infraestrutura". Ele define a infraestrutura como os olhos e as mãos do modelo, dividida em tempo de execução (fundação, estado e retomada) e camadas de contexto e orquestração (controle de quais modelos são chamados, prompts, ferramentas e truques para direcionar comportamento). Relata o auge do Cursor com o Grind Swarm, uma infraestrutura multimodal cara para orquestrar muitos agentes, e discute críticas que afirmaram que esses ambientes estariam morrendo à medida que modelos mais inteligentes absorvem habilidades antes fornecidas pela estrutura. Estudos da UC Berkeley, Apple e EPFL sugerem que ambientes sofisticados não melhoram muito desempenho em modelos de ponta, fenômeno explicado por um "volante de dados" em que mais uso gera mais dados e melhores modelos. Ainda assim, ele argumenta que a infraestrutura não morreu: ela abre novas fronteiras de tarefas (exemplo Grokbot, com coordenadores de longa duração e agentes trabalhadores) e mantém responsabilidades que modelos ainda não absorveram. Ele conclui que infraestrutura continuará evoluindo em novos papéis especializados.