TLDR;

SLMs são modelos de linguagem pequenos (tipicamente abaixo de 10 bilhões de parâmetros) treinados em conjuntos de dados especializados e comprimidos por técnicas como knowledge distillation, pruning e quantization para oferecer respostas mais rápidas, baratas e privadas em tarefas específicas. Eles são ideais para tarefas de escopo estreito, repetitivas e de alto volume com baixa tolerância a latência — por exemplo, triagem de atendimento, chatbots rotineiros, sumarização, análise de conteúdo, geração de textos direcionados, auxílio a programadores e execução on‑device em IoT e setores regulados. As principais limitações incluem menor amplitude de conhecimento e capacidade de raciocínio, fragilidade em casos fora do domínio, janelas de contexto reduzidas e risco de vieses por datasets menores, exigindo orquestração com LLMs e boas práticas de preparação de dados.

Resumo

Com o avanço das grandes modelos de linguagem (LLMs) atingindo limites de custo e escala, surgem modelos menores e especializados (SLMs) como alternativa mais rápida, barata e privada para tarefas empresariais autônomas. Com parâmetros tipicamente entre 1 e 7 bilhões, SLMs são treinados em arquiteturas compactas e conjuntos de dados menores e específicos, usando técnicas como distilação do conhecimento, poda, quantização, fine-tuning, RAG e LoRA para manter desempenho reduzindo tamanho. Eles se mostram econômicos em cenários repetitivos, de alto volume e baixa latência — por exemplo, triagem de atendimento, resumo de conteúdo, assistentes conversacionais, análise de sentimento, geração de código e aplicações em IoT ou em setores regulados que exigem privacidade. Vantagens incluem execução local ou on‑device, menor consumo de computação, respostas rápidas, custos reduzidos e personalização por dados corporativos. Limitações envolvem menor amplitude de conhecimento, dificuldade em raciocínio multietapa, fragilidade em casos de borda e riscos de vieses por bases restritas. Analistas recomendam orquestrar SLMs e LLMs conforme papel: SLMs para tarefas bem definidas e LLMs para raciocínio aberto, além de priorizar preparação, curadoria e governança de dados para garantir eficácia e segurança. Gartner prevê que até 2027 o uso de SLMs será três vezes maior nas empresas do setor.