TLDR;

LeCun mostrou que um modelo com apenas 109 milhões de parâmetros superou LLMs de até 72 bilhões em um teste importante, provando que o tamanho não garante superioridade. O modelo pequeno, 600 vezes menor, venceu os maiores ao usar abordagens diferentes que não dependem exclusivamente de enormes quantidades de texto, revelando que estratégias mais eficientes podem ser mais eficazes. Se essa descoberta for ampliada, poderá redirecionar a pesquisa de IA, afastando o foco dos gigantescos LLMs e favorecendo modelos compactos que aprendam a partir do mundo real.

Resumo

Yann LeCun, um dos pioneiros da inteligência artificial e co‑autor do prêmio Turing, tem alertado a indústria há anos de que simplesmente aumentar o tamanho dos grandes modelos de linguagem (LLMs) não levará à IA de nível humano; ele defende que a estratégia atual – focada apenas em mais parâmetros e mais texto – está equivocada. Recentemente, LeCun publicou um artigo em que um modelo com apenas 109 milhões de parâmetros superou, em um teste crucial, modelos de até 72 bilhões de parâmetros, demonstrando que eficiência e arquitetura podem ser mais importantes que escala bruta. O autor atribui esse erro ao fato de que LLMs aprendem exclusivamente a prever a próxima palavra a partir de trilhões de tokens, quantidade de informação semelhante à que uma criança recebe visualmente nos primeiros quatro anos de vida, mas sem nenhum contato direto com o mundo físico. Ele argumenta que, assim como uma criança aprende sobre gravidade, causalidade e permanência ao interagir com objetos, a IA precisa incorporar experiências sensoriais e motoras para compreender verdadeiramente o entorno. Insatisfeito com a “trincheira” de LLMs que domina o Vale do Silício, LeCun deixou a Meta em 2023 para fundar a AMI Labs em Paris, arrecadando mais de 1 bilhão de dólares de investidores como Jeff Bezos, Nvidia, Samsung e Toyota. Seu novo trabalho pode mudar radicalmente a forma como a próxima geração de IA será construída, priorizando aprendizado multimodal e modelos compactos que capturam princípios do mundo real, em vez de simplesmente acumular mais texto.