Criando um Poderoso Assistente de Programação de IA Local com @AMD e Strata em uma Plataforma Des...
AMD e Strata revelam como construir um assistente de programação IA local, impulsionado por tecnologia de ponta.
Conteudo
TLDR;
O assistente usa placas AMD Radeon 9700 AI Pro com 32 GB de VRAM na plataforma X4, custando cerca de US$2 mil. O Strata distribui o modelo entre GPU, RAM e disco, permitindo executar LLMs que ultrapassam a capacidade da VRAM. O demo roda o modelo Qwen‑3.8 Flash Next (~64 GB), colocando metade na GPU e o resto na memória do sistema para gerar código localmente.
Resumo
O vídeo apresenta a nova etapa da série sobre IA local da 45 Drives, desta vez migrando do ambiente de rack para o desktop, onde o apresentador demonstra como rodar grandes modelos de linguagem usando a plataforma X4 com placas AMD R9700 AI Pro de 32 GB de VRAM, que oferecem excelente desempenho a um preço competitivo (cerca de US$ 2 mil). Utilizando a ferramenta de software Strata, ele carrega metade do modelo Qwen 3.8 Flash Next (aproximadamente 64 GB) na GPU e a outra metade na memória do sistema, permitindo que o modelo opere localmente sem necessidade de recursos de nuvem. O objetivo é oferecer uma solução intermediária entre servidores de alta capacidade e laptops gamers, atendendo a usuários individuais que buscam IA potente, porém acessível. O apresentador ressalta o alto custo atual de GPUs, memória flash e RAM, e explica como o Strata facilita o balanceamento entre desempenho e uso de recursos, monitorando métricas como tokens por segundo e exibindo apenas informações relevantes. Também menciona a facilidade de configuração do Strata, a experiência de usar o IDE Zed e a importância de ter controle total sobre a IA, mesmo que isso signifique sacrificar a velocidade dos modelos de fronteira. No final, demonstra a geração de código para um videogame, provando que, por volta de US$ 5 mil, é possível montar uma máquina de IA local muito capaz e segura.