TLDR;

Hospedando internamente modelos abertos da família GLM em GPUs dedicadas e otimizando a infraestrutura e parâmetros (quantização FP4, paralelismo de tensor, cache KV alto e técnicas de decodificação) a Revolut reduziu o custo por token para cerca de 30 centavos por milhão, aproximadamente 10× menos que Anthropic/OpenAI. Eles usaram GLM (GLM‑51/53) rodando em ~56 GPUs B200 para atender 2.000 engenheiros, com foco em <3s no primeiro token e ajustes como TP8 quando necessário e acerto de cache >90%. O impacto foi grande: ~60% de redução no tempo de codificação, ~70% no tempo de entrega, 88% de melhoria no tempo do primeiro token e uma fatura previsível que viabiliza tokens “ilimitados” para os engenheiros.

Resumo

David, responsável por operações de IA na Revolut, apresentou como a empresa adotou engenharia de alto desempenho e auto‑hospedagem de modelos open‑source em GPUs dedicadas. Ele contextualizou a Revolut (banco digital com 80 milhões de clientes em 45 mercados) e mostrou métricas de produtividade: Gemini trouxe ~10% de melhora no lead time e ~20% no tempo de codificação, mas custos e limites orçamentários impuseram restrições. A partir de 26 de abril a equipe começou a hospedar GLM locais (GLM‑51/53), alcançando até 60% de ganho em codificação e 70% em entrega, reduzindo a fatura para aproximadamente 1/10 do gasto com Anthropic/OpenAI. Para atender 2.000 engenheiros usam cerca de 56 B200, buscando latência do primeiro token <3s (alcançando ~1,6s) e rendimento interativo de ~200 tokens/s; o custo misto por token caiu para 0,30 centavos por milhão. O sucesso exigiu ajustes: limitar contexto a ~256 tokens, quantização FP4 em GPUs Blackwell, afinar paralelismo de tensor e cache KV, garantir >90% de cache hit e otimizar decodificação especulativa. Para tarefas multimodais recomendam roteamento local a modelos especializados, mantendo alguns modelos externos como exceções. Eles enfatizam monitoramento contínuo, experimentação, ajuste fino e alinhamento com equipes de produto para garantir segurança, custo‑eficiência e qualidade em escala global.