TLDR;

A IA barata não vai durar porque a cobrança por tokens revela os altos custos de computação dos modelos mais avançados e torna insustentável o subsídio contínuo. Consumidores muitas vezes são subsidiados por assinaturas, mas empresas que processam volumes enormes e usam modelos de ponta pagam por token e podem enfrentar contas muito altas. O mercado reage com disciplina de custos e segmentação: usar modelos simples para tarefas simples e reservar modelos caros para casos críticos, além de investir em ferramentas e infraestrutura para gerir o consumo.

Resumo

Neste episódio, especialistas da Bloomberg explicam que tokens são as unidades básicas do funcionamento dos modelos de linguagem — pedaços de texto (~3/4 de palavra) usados como entrada e saída em prompts, imagens, código e multimídia — e que provedores estão cobrando pelo uso, gerando contas altas e debate sobre o custo da IA. Consumidores muitas vezes pagam subscrição subsidiada, mas empresas que processam grandes volumes por projetos científicos, código ou análise de dados pagam por token, com preços variando drasticamente conforme capacidade do modelo, janela de contexto e velocidade: modelos de ponta custam cerca de US$3–4 por milhão de tokens, enquanto soluções de entrada custam US$0,20–0,30 por milhão. Isso força disciplina de custos, diferenciação de uso e ferramentas automatizadas (como roteadores abertos) que direcionam tarefas simples a modelos baratos e tarefas complexas a modelos caros. Organizações que não monitoraram uso estouraram orçamentos, levando a restrições. A dinâmica cria segmentação de clientes e incentiva empresas com ganhos a pagar por modelos avançados para ganhos de produtividade, seguindo recomendações de líderes do setor para automatizar funções valiosas e economizar em casos simples. Analistas afirmam que essa transição mudará competição entre gigantes da tecnologia e exigirá inovação em hardware e preços urgente.