TLDR;

O "truque" é o LM Link do LM Studio (v4.5+), que usa Tailscale para conectar seu laptop a máquinas remotas que já carregam modelos grandes, permitindo executá‑los sem precisar de muita RAM local. A conexão é feita de forma segura via Tailscale e os modelos rodam nas suas máquinas locais/remotas controladas por você, mantendo os dados privados sem enviá‑los a provedores externos. Para aproveitar isso você precisa de pelo menos uma máquina remota com GPU/VRAM e memória suficientes (e idealmente energia/UPS para mantê‑la online), enquanto seu laptop só precisa rodar o cliente LM Studio para se conectar.

Resumo

Neste vídeo o autor demonstra como executar grandes modelos de linguagem localmente usando o LM Studio (versão 4.5+), que agora oferece o recurso LM Link baseado em Tailscale para conectar de forma segura e fácil múltiplas máquinas. Ele mostra que, mesmo saindo de um MacBook Pro com 128 GB para um MacBook Air com 16 GB, é possível acessar remotamente modelos enormes hospedados em servidores locais mais potentes — por exemplo modelos de dezenas a centenas de bilhões de parâmetros (12B, 70B, 80B, até coders de 480B que ocupam centenas de GB) com janelas de contexto de 50.000 tokens. Ao comparar desempenho, observa que em hardware fraco o pré-processamento de prompt é lento, enquanto uma GPU como a RTX Pro 6000 (96 GB VRAM) entrega taxas altas (centenas de tokens por segundo) e baixa latência para tarefas em VS Code. LM Studio facilita alternar entre modelos já carregados sem espera, mantendo dados privados e seguros — vantagem para código e informações sensíveis. Ele também ressalta a importância de energia de backup para workstations locais, citando um gerador solar Jackery como solução para manter equipamentos e fluxos de trabalho funcionando sem interrupção e melhora significativamente produtividade e tranquilidade do usuário diariamente.