TLDR;

Porque modelos que se saem bem em leaderboards normalmente só foram testados em acurácia controlada, enquanto em produção surgem questões de latência, custo e diferentes distribuições de tokens que expõem trade‑offs entre precisão, desempenho e custo. Combine avaliações de modelo (reference‑based, execution‑based e reference‑free usando LLM como juiz validado por especialistas) com avaliações de sistema (time‑to‑first‑token, inner‑token latency, request latency, throughput, SLOs e simulação de tráfego real) para prever o comportamento em produção. Para evitar que a aplicação quebre, defina SLOs claros, teste com cargas e distribuições de tokens realistas, equilibre precisão/desempenho/custo escolhendo o modelo e a arquitetura adequados e mantenha humanos no loop para validar julgamentos do LLM.

Resumo

O texto explica por que um modelo de linguagem que obtém boa pontuação em benchmark pode falhar em produção, destacando o trade-off entre precisão, desempenho e custo: normalmente você otimiza duas dessas dimensões e sacrifica a terceira. Diferencia-se avaliação de modelo (mede raciocínio e exatidão com benchmarks como MMLU, testes de execução como SW/terminal bench e avaliações sem referência) e avaliação de sistema (mede latência, throughput e custo por requisição). Para casos sem resposta única, usa-se LLM como juiz combinado com rótulos de especialistas humanos para escalar julgamentos sobre tom, utilidade e alucinações. Em inferência, métricas-chave são tempo até o primeiro token, latência entre tokens e latência total; a inferência ocorre em duas fases com gargalos distintos — pré-fill (processamento do prompt, pesado em computação) e decodificação (geração token a token, pesado em memória). Diferentes cargas de trabalho exigem distribuições de tokens variadas (chat, RAG, assistentes de código), por isso é essencial definir SLOs (por exemplo, p99 < 300 ms), simular padrões de tráfego (offline vs online) e identificar o ponto de inflexão em que a latência se degrada sob carga real. Isso permite planejar capacidade, otimizar custos e garantir experiência do usuário em escala durante picos e sazonalidades constantes.