19:50
youtube.com ha 4h SRT Sandbox

O novo NVIDIA Nemotron 3 Super é insano: Rodei o LLM Open Source Mais Poderoso da NVIDIA no Ollama

NVIDIA Nemotron 3 Super: o LLM Open Source Mais Poderoso da NVIDIA em ação no Ollama

Tecnologia LLM nvidia

Conteudo

TLDR;

O NVIDIA Nemotron 3 Super é um LLM open‑source da NVIDIA (da família Nemotron com versões nano, super e ultra, sendo o Super um modelo grande de ~120B parâmetros) voltado para uso corporativo e capaz de raciocínio lógico, visão, voz, RAG e recursos de segurança. Está disponível no Ollama e pode ser executado localmente — versões pequenas como o nano 4B rodam em máquinas comuns (~2,8 GB de VRAM), enquanto modelos maiores (30B/120B) exigem GPUs com ~24 GB ou infraestrutura em nuvem. Nos benchmarks ele fica no meio da tabela (por exemplo ~36% de índice de inteligência versus Gemini ~57), oferecendo um bom potencial para empresas, mas com trade‑offs de custo e desempenho a considerar.

Resumo

Neste vídeo o autor apresenta o NeMoTron, a família de modelos LLM da Nvidia que amplia o papel da empresa além do hardware ao oferecer modelos open‑source, datasets e ferramentas para aplicações corporativas customizáveis, como processamento lógico, compreensão visual/OCR, reconhecimento de voz, agentes baseados em RAG e detecção em tempo real de conteúdo prejudicial, alucinações e jailbreaks. Há três versões principais (nano, super e ultra) com variantes focadas em segurança, velocidade e voice, e modelos disponíveis no Hugging Face e Olhama. A Nvidia fornece documentação, kits de inicialização, provedores de inferência (DigitalOcean, CoreWeave, Together AI etc.) e endpoints gratuitos para prototipagem, além de suporte para implantações seguras. Benchmarks mostram desempenho competitivo em inteligência e velocidade, embora nem sempre melhor custo‑benefício que alternativas como GPT ou PaLM/Gemini; o NeMoTron fica em posição intermediária em várias métricas. O público‑alvo são corporações que desejam construir e tunar soluções próprias (chatbots, call centers, vision‑language), podendo rodar versões pequenas localmente, enquanto modelos maiores exigem GPUs com ~24 GB para evitar swap com CPU. O vídeo também menciona um concurso da Nvidia com premiação em dinheiro e hardware. O conteúdo incentiva experimentação, estudo da documentação oficial e avaliação cuidadosa antes da implantação empresarial em larga escala.