TLDR;

Skills são módulos que acrescentam funcionalidades a agentes de código — por exemplo chamadas a APIs e execução de ferramentas como FFmpeg — e também atuam como guardrails gerando testes e auditorias de segurança e performance. No experimento do autor, skills handcrafted tiveram desempenho um pouco melhor que Claude Code sem skills ou apenas em plan mode, embora os ganhos dependam do tipo de skill e do nível de esforço usado. A validação requer AB testing isolado entre baseline, plan e skills medindo tempo, uso de tokens e analisando os diffs, o que o autor automatizou numa ferramenta ligada ao agentsystem.dev.

Resumo

O vídeo explica a importância de instalar “skills” quando se utiliza agentes de programação como Claude Code ou Codex: além de ensinar o agente a executar novas tarefas (chamar APIs, rodar FFmpeg etc.), as skills funcionam como guardrails, obrigando o agente a gerar testes, auditorias de segurança e de desempenho. O autor critica que muitas skills públicas são geradas por IA sem revisão e apresenta seu trabalho em agentsystem.dev, onde reúne skills artesanais e avaliadas por checagens de qualidade (há uma lista de espera). Ele enfatiza a necessidade de AB testing para comparar uma skill contra um baseline (por exemplo, Claude Code sem skills ou com modo “plan”) especialmente quando a skill faz refatorações ou análises de segurança. Demonstra uma ferramenta própria que roda três sessões isoladas (sem skills, com plan, com suas skills) contra um projeto chamado Mission Control, pedindo a implementação de uma funcionalidade de monitoramento de tokens; a ferramenta permite ajustar níveis de esforço (low/high) que influenciam tempo e consumo de tokens. Resultados iniciais mostram que suas skills superam o modo “plan” sem skills, e o autor recomenda usar low effort com skills para economizar tokens e depois refinar com passes adicionais em maior esforço para alcançar qualidade completa.