TLDR;

O experimento compara o modelo local Kimmy K3 de 2.8 trilhões de parâmetros rodado em quatro Mac Studios conectados contra o Abacus AI Supercomputer na nuvem. O setup local usa cluster de Macs com Thunderbolt 5 e MLX distributed para rodar o modelo quantizado de 817 GB enquanto o cloud oferece VM sempre ligada com múltiplos modelos frontier. Ambos receberam o mesmo prompt extenso para construir um frontend Next.js com TypeScript, mock data e testes, permitindo comparar velocidade de geração e qualidade do app.

Resumo

O vídeo compara o desempenho de um cluster local de quatro Mac Studios, totalizando 2 TB de memória unificada, rodando o modelo Kimmy K3 de 2,8 trilhões de parâmetros (1,56 TB em disco), contra o Supercomputer da Abacus AI, uma máquina virtual em nuvem com acesso a diversos modelos frontier, incluindo o mesmo Kimmy K3. O objetivo é construir uma aplicação web front-end completa para uma exchange de computação em silício, usando TypeScript, Next.js, mock data, dark mode, microinterações, acessibilidade e testes automatizados. O setup local utiliza o agente Open Code conectado via Thunderbolt 5 e MLX distributed, enquanto o lado cloud emprega o agente Hermes integrado ao Supercomputer, sempre ativo, com suporte a terminal, arquivos e deploy direto. O narrador destaca que os Macs processam o prompt mais lentamente (238 tokens/s no prefill), mas geram tokens de forma eficiente graças à alta largura de banda de memória. A disputa testa se o hardware local massivo consegue igualar ou superar a conveniência e velocidade da nuvem em uma tarefa agentic complexa.