TLDR;

Agentes que atuam sem conhecer o problema todo tendem a introduzir mudanças iterativas que aumentam o número de testes falhando e degradam a manutenibilidade da base de código. O benchmark Slop Code Bench demonstra isso ao submeter modelos a ciclos de features incrementais, mostrando que o número de testes falhos tende a subir e que modelos como GPT/Codex marcaram só ~15–16%. Para mitigar, não "hipoteque" sua base esperando versões futuras; exija revisão humana, invista em harness/context engineering, reduza paralelismo excessivo e use agentes remotos controlados para tarefas pequenas mantendo humanos no loop para trabalhos maiores.

Resumo

Neste episódio, Dex Horthy, CEO da HumanLayer e criador do termo "context engineering", discute mitos e desafios reais do uso de modelos para programação: não hipoteque seu código na expectativa de que um futuro modelo resolverá problemas estruturais, e evitar padrões que prejudiquem manutenção. Apresenta o benchmark Slop Code Bench, que demonstra que modelos tendem a degradar bases de código quando trabalham incrementalmente sem visão global, ao contrário de benchmarks tradicionais (Sweet Bench, maratona, e abordagens com "judge models") que dão problemas completos de uma vez; Slop mostrou pontuações baixas (~15–16%), evidenciando fragilidade na manutenção a longo prazo. Ele comenta que avanços podem vir, mas que os laboratórios focam em outras melhorias e que os últimos 10% de qualidade podem ser os mais difíceis. Sobre agentes, fala da tendência a execução remota e colaboração multinível, útil para equipes grandes com histórico complexo, enquanto tarefas pequenas podem ser automatizadas com fluxos simples ticket→PR; porém integração em empresas maiores é complexa. O objetivo da HumanLayer é permitir colaboração significativa entre humanos e agentes em trabalho maior, com foco em engenharia de contexto e práticas reais de produção. Ele também alerta que token maxing não funciona e recomenda priorizar menos trabalho em paralelo estratégico.