TLDR;

Porque, ao testar na prática e construir meu próprio harness com Gemini 3 Flash, descobri nuances sobre compactação, cache e limitações que me fizeram rever minha opinião anterior. Implementei um assistente funcional que lida com cache de tokens, compactação seletiva (quando a janela está ~25% cheia eu compacto ~50% do contexto antigo), streaming de chamadas de ferramentas e aprendi os trade‑offs entre compactação e desempenho/custo. Os custos foram relativamente baixos no meu caso — meses de desenvolvimento quase sem gasto e cerca de US$40 em julho quando rodei em produção e fiz uma limpeza massiva dos meus e‑mails.

Resumo

Recentemente o autor refez sua avaliação sobre ferramentas e implementou do zero um harness para LLMs — usando Gemini 3 Flash via Juni como exemplo — para entender melhor funcionamento interno, compartilhar aprendizados e erros. Apresenta um app assistente funcional que cobre cache de tokens, compactação, streaming de chamadas a ferramentas e integrações (ex.: Railway via MCP). Demonstra como agentes podem encadear LLMs e ressalta a limitação da janela de contexto, explicando estratégias de compactação: reduzir toda a história a um resumo curto (abordagem bruta) versus compactar apenas mensagens antigas mantendo as recentes verbatim, estratégia que permite conversas ou workflows praticamente infinitos; adotou compactar quando o contexto atinge ~25% e reduzir cerca de 50%. Discute também o efeito adverso da compactação sobre o cache de tokens — ao alterar o histórico com resumos, quebra-se a pré-processamento em latente e perde-se otimização — e dá dicas para equilibrar compactação, custo e latência. Mostra custos reais da API (cerca de US$40 em julho) e alerta para erros que quebram o cache (ex.: incluir hora atual no system prompt). Menciona a expectativa por modelos melhores e cita Code Rabbit como ferramenta útil para revisão de código e planeja implementar atualizações e refinamentos contínuos regularmente.