TLDR;

Perplexity e Nvidia anunciaram uma plataforma que permite rodar IA localmente em desktops e laptops usando o computador de IA de tamanho desktop da Nvidia. A solução executa modelos open‑source localmente — inicialmente o kernel da Alibaba e em breve o modelo aberto da Nvidia — para reduzir custos de computação e tokens, enviando para a nuvem apenas tarefas que exigem raciocínio de ponta com a permissão do usuário. O principal trade‑off é potencial perda de capacidade em tarefas muito complexas, que o sistema resolve encaminhando essas partes à nuvem para equilibrar custo, desempenho e privacidade.

Resumo

Empresas do Vale do Silício vêm desenvolvendo formas de rodar e operar IA diretamente em computadores pessoais, em vez de depender de enormes centros de dados; a NVIDIA e a startup Perplexity anunciaram uma plataforma que pode executar modelos grandes localmente em um computador de IA de tamanho desktop da NVIDIA, com a proposta de reduzir custos de computação e de tokens ao evitar o envio contínuo de dados e prompts para a nuvem. Segundo Perplexity, tarefas que exigirem raciocínio de ponta poderão, com autorização do usuário, encaminhar parcialmente o processamento para a nuvem, equilibrando eficiência e capacidade. A solução inicialmente utilizará o modelo aberto Kernen da Alibaba localmente, com suporte futuro ao modelo open source da própria NVIDIA, sem menção a empresas como Anthropic ou OpenAI. O movimento reflete uma tendência mais ampla, também observada pela Apple em seu novo Mac mini, de levar inferência sofisticada para dispositivos locais — o que promete privacidade e economia, mas pode limitar desempenho em operações que demandam os modelos mais avançados. Executar localmente exige hardware potente; há troca entre economia, privacidade e limitações de capacidade; para tarefas críticas, o modelo híbrido — local com offload para a nuvem — é sugerido para reduzir custos operacionais.