TLDR;

Local models podem substituir o cloud em muitas tarefas de código, mas ainda têm limitações de velocidade, raciocínio e tamanho de modelo que impedem a substituição total em cenários mais exigentes. Um PC consumidor com GPU e pelo menos 64 GB de RAM (além de suporte a offloading de GPU) permite rodar modelos como Qwen 3.8 27B e GLM 4.7, enquanto modelos maiores exigem centenas de gigabytes de RAM. É possível integrar modelos locais ao VS Code via endpoints, extensões ou o gerenciador nativo, mas espere falhas por contexto excessivo, lentidão em certos modelos e a necessidade de ajustar quantização e offloading.

Resumo

Neste experimento de uma semana, o autor testa modelos de IA locais em um PC mini ASUS NUC 16 Pro com 64 GB de RAM para avaliar se alternativas open‑source podem substituir modelos na nuvem. Usando Ollama e LM Studio, e consultando benchmarks no arena.ai, ele escolhe modelos compatíveis com hardware de consumidor, como Qwen 3.8 (27B), Muse Glimmer e GLM 4.7 Flash, observando limitações de memória e a necessidade de offloading para GPU e quantizações (Q8, Q6, Q4) para caber nos 64 GB. Após longos downloads, mede desempenho em tokens por segundo: Qwen cerca de 12 tps, Muse Glimmer somente 6 tps — além de demonstrar comportamento conservador gastando capacidade em conformidade de respostas — e GLM 4.7 Flash surpreendendo com ~22 tps, possibilitando rodar duas instâncias em paralelo graças à RAM disponível. Modelos maiores, como o OSS de 120B, ficam fora de alcance. Ele também integra os modelos locais ao VS Code via endpoint do LM Studio sem usar conta cloud e identifica problemas ao conversar com eles devido a prompts que excedem a janela de contexto, o que causa falhas nas interações. Ele busca descobrir se modelos locais conseguem substituir serviços em nuvem no trabalho diário prático.