TLDR;

O assistente de programação on‑prem é um modelo de linguagem grande que roda em servidores locais, usando a mesma plataforma de IA descrita no vídeo, permitindo geração de código sem depender de serviços externos. Ele oferece controle total sobre dados e custos, e apesar de não ser tão potente quanto os modelos de fronteira em nuvem, entrega desempenho acima do esperado com um modelo de 27 B e 32 GB de VRAM. A integração se dá via endpoint compatível com a API da OpenAI, bastando configurar a URL e a chave no seu IDE ou ferramenta como o Goose ou extensão do VS Code.

Resumo

O vídeo apresenta a continuação da série “on‑prem AI platform” da 45 Drives, mostrando como transformar a infraestrutura já criada para gerar um assistente de programação totalmente operável dentro do próprio datacenter. Após as duas primeiras demonstrações – a implantação de um Large Language Model (LLM) confiável e a construção de um pipeline Retrieval‑Augmented Generation (RAG) que gerou uma wiki pesquisável – o autor explica a re‑arquitetura necessária para liberar recursos de GPU e alocar o modelo Quinn 3.8 (27 B parâmetros, ~32 GB de VRAM) exclusivamente ao assistente de código. A solução utiliza duas VMs: uma para o pipeline RAG e outra para o assistente, ambas expostas por meio do LightLLM, que fornece autenticação por chave de desenvolvedor, controle de orçamento e um ponto de acesso único compatível com a API da OpenAI. O demonstrativo prático emprega a ferramenta “Goose”, que se conecta ao endpoint auto‑hospedado e, via interface semelhante ao ChatGPT, gera código – no exemplo, um simples servidor web Python que devolve “Hello World”. O autor destaca que, embora não rivalize com os grandes modelos de nuvem, a solução on‑premise oferece autonomia sobre dados, custo e segurança, além de desempenho surpreendente para um modelo de 32 GB. A apresentação encerra convidando os espectadores a testar a ferramenta e observar como a produtividade da equipe pode melhorar.