TLDR;

Assistência privada e local para CUDA via Nsight Copilot, com LLMs e NIMs rodando no DGX Spark para suporte de codificação especializado mantendo seus dados sob controle. Funcionamento totalmente offline no DGX Spark, evitando que dados saiam do seu ambiente e reduzindo custos de inferência na nuvem. Integra-se ao VS Code como extensão Nsight Copilot, usa um pipeline RAG com o GPT OSS 12B NIM e aproveita os 128 GB de memória do DGX Spark para execução local.

Resumo

Nsight Copilot é uma assistente de programação baseada em IA criada para desenvolvedores CUDA, que oferece suporte especializado para responder perguntas e gerar código CUDA. A solução dispõe de uma extensão para VS Code (também no OpenVSX) que pode rodar offline, demonstrada em execução sem conexão com a internet; o chat utiliza o modelo GPT OSS 12B NIM em um pipeline de RAG com inteligência CUDA para respostas específicas. Para equipes que exigem privacidade ou não podem usar inferência na nuvem por motivos de segurança ou propriedade intelectual, a NVIDIA oferece um blueprint que roda localmente no DGX Spark, aproveitando seus 128 GB de memória para hospedar LLMs e NIMs sem enviar dados para a nuvem. Além do chat, há um modelo de autocompletar treinado internamente especificamente para CUDA, e a versão online é alimentada pelo DGX Cloud. A proposta promete assistência em CUDA de qualidade superior às das ferramentas de codificação mais populares, mantém-se atualizada com bibliotecas e técnicas CUDA, e ajuda a eliminar custos de inferência na nuvem ao mesmo tempo em que preserva controle total sobre os dados. O objetivo é facilitar desenvolvimento de aplicativos CUDA em ambientes corporativos sensíveis, acelerando produtividade e segurança com baixo custo.