16:34
youtube.com ontem SRT Sandbox

A LLM local mais inteligente que eu já vi com 3B - Nanbeige

Por AI ProgBr

Coding SelfHosted Tecnologia LLM

Conteudo

TLDR;

O Nanbeige é um modelo LLM open-source de 3 bilhões de parâmetros disponível no Hugging Face, projetado para rodar localmente e se comparar a modelos como Qwen 3 de 30 bilhões. Ele supera o Qwen 3 de 30B na maioria dos benchmarks mostrados, como Live Code Bench (10-20 pontos à frente) e outros testes de raciocínio, além de competir com gigantes como GLM 4 de 357B. Em testes reais no LM Studio, o Nanbeige gerou sugestões de títulos de vídeo mais criativas e clickbait que o Qwen 3 30B, processando o prompt com mais "pensamento" apesar do tamanho menor.

Resumo

O vídeo discute a paixão por modelos de inteligência artificial open-source locais, destacando o problema dos recentes lançamentos gigantes, como GLM5, Kim K2.5, Mini Max M2.5 e Qwen 3.5 (quase 400 bilhões de parâmetros), que exigem muita VRAM e são inacessíveis para máquinas comuns. O apresentador foca em um modelo menor, o NanB (ou Nenbeige/Neb) de 3 bilhões de parâmetros, disponível no Hugging Face, que alega superar o Qwen 3 de 30 bilhões em benchmarks como Live Code Bench (10-20 pontos à frente), tarefas de raciocínio forte e até gigantes como GLM 4.6 de 357 bilhões. Gráficos mostram o NanB liderando em vários testes, inclusive coding e uso em ferramentas como VS Code. Para validar, ele roda os modelos no LM Studio: compara NanB 3B vs. Qwen 3 30B quantizado. No primeiro teste, pede sugestões de títulos para um vídeo sobre Qwen 3.5 baseado em transcript; Qwen gera opções ruins, com erros factuais (ex.: roda em Mac comum), clickbaits fracos e confusos, enquanto NanB pensa mais e processa mais devagar, mas o teste é interrompido. O segundo teste inicia com contexto longo (200k tokens), questionando estruturas de "metodynamic prot". O tom é cético, prometendo provas práticas. (198 palavras)