TLDR;

Gimlet Labs é uma startup que tenta resolver o gargalo da inferência de IA usando um “multi-silicon inference cloud” que distribui as cargas entre diferentes tipos de hardware.. A empresa faz isso dividindo o trabalho de aplicativos de IA entre CPUs, GPUs e sistemas de alta memória, escolhendo o melhor chip para cada etapa.. Segundo a própria Gimlet, essa abordagem pode acelerar a inferência em 3x a 10x com o mesmo custo e consumo de energia, e ela já atraiu US$ 80 milhões em uma rodada Série A liderada pela Menlo Ventures.

Resumo

A Gimlet Labs, startup fundada por Zain Asgar, professor adjunto de Stanford e empreendedor com saída bem-sucedida anterior, levantou US$ 80 milhões em uma rodada Série A liderada pela Menlo Ventures para atacar o gargalo de inferência em IA. A empresa criou o que afirma ser a primeira “multi-silicon inference cloud”, um software que distribui cargas de trabalho de IA simultaneamente entre diferentes tipos de hardware, como CPUs, GPUs, sistemas de alta memória e chips de vários fabricantes. A proposta é otimizar cada etapa de um agente de IA — desde processamento até decodificação e chamadas de ferramentas — usando o melhor recurso disponível em cada momento. Segundo a Gimlet, isso pode tornar a inferência de IA de 3 a 10 vezes mais rápida com o mesmo custo e consumo de energia. A solução é voltada para grandes laboratórios de modelos e data centers, não para desenvolvedores comuns, e já tem parcerias com NVIDIA, AMD, Intel, ARM, Cerebras e d-Matrix. A startup, que saiu do modo stealth em outubro, afirmou ter receita inicial de oito dígitos e ampliar rapidamente sua base de clientes. Com a nova rodada e investimentos anteriores, a empresa já captou US$ 92 milhões e conta com 30 funcionários.