TLDR;

Esses quatro papers mostram que, por meio de técnicas como mixture of experts e outras otimizações, é possível manter a capacidade de modelos grandes gastando bem menos compute por token e reduzindo memória, o que diminui o custo por resposta. Os resultados sugerem que não necessariamente precisaremos de menos chips, mas cada chip poderá rodar muito mais conversas, mudando a métrica de compra de "tamanho do modelo" para "eficiência de compute". Quem define orçamento deve passar a priorizar eficiência (custo por resposta, arquiteturas que ativam só especialistas e otimizações de memória) em vez de apenas investir em modelos cada vez maiores.

Resumo

Enquanto o mercado só fala de chips e GPUs caros, quatro papers recentes (Google DeepMind, Deepsic, Nvidia, Tencent) apontam para reduzir o compute por resposta via técnicas já discutidas teoricamente. Maria Alice Maia explica que modelos de linguagem processam texto em tokens e cada token exige cálculo (compute); tradicionalmente modelos maiores custam mais por token. Os trabalhos não buscam maior tamanho, mas menor custo por token: mudar a fronteira do desempenho para eficiência de compute. Um exemplo é o mixture of experts (usado pelo Google no Gema), que ativa apenas especialistas relevantes para cada token, reduzindo cálculo e memória (até um terço menos), permitindo rodar modelos potentes em celulares e multiplicar conversas por chip. No conjunto, as quatro propostas mostram que é possível ter a mesma capacidade com menos processamento, acelerando a transição prática dessas técnicas e alterando decisões de orçamento de IA nos próximos meses. A apresentadora ressalta que três perguntas essenciais sobre investimento vêm no final do vídeo e que quem aloca verba em IA deveria assisti-lo para tomar decisões melhores. Ela recomenda que responsáveis por orçamento estudem essas abordagens, reavaliem prioridades e priorizem eficiência de compute ao contratar modelos ou infraestruturas nos próximos ciclos de forma urgente.