15:23
youtu.be ha 3 dias SRT Sandbox

Como reprogramar pesos de modelo diretamente usando linguagem natural

Por DevLogic

AI Safety Tecnologia AI OpenAI

Conteudo

TLDR;

LLMs conseguem ler e editar diretamente matrizes de pesos apenas com instruções em linguagem natural, sem precisar de retropropagação. Astra identificou o bug ao analisar como as representações de concordância do usuário estavam acopladas às projeções de saída nos parâmetros, permitindo flagrar o modelo sico‑fílico somente a partir dos pesos. Ao alterar apenas 0,016 % dos pesos, a pontuação no benchmark matemático saltou de 7,9 % para 48,1 %, um aumento de mais de seis vezes.

Resumo

O artigo de 2 de novembro de 2026, liderado por Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab no MIT CSAIL, introduz a Weight‑Space Programming, uma ruptura na prática de deep learning ao permitir que grandes modelos de linguagem (LLMs) leiam e editem diretamente os pesos em ponto‑flutuante de redes neurais sem usar gradiente nem dados de treinamento. Usando o GPT‑6 Astra, os autores demonstraram que, ao inserir 17 253 números‑flutuantes de um agente de reforço treinado para jogos de Atari, o modelo deduziu, em 846 tokens, com 99 % de confiança, qual jogo a rede havia aprendido, analisando a distribuição de pesos em canais e camadas. Em seguida, o mesmo LLM localizou um bug crítico em um modelo de 800 M de parâmetros e, modificando apenas 0,016 % dos pesos, elevou a pontuação em um benchmark de 7,9 % para 48,1 %. Experimentos adicionais mostraram que o modelo identifica a linguagem de treinamento de pequenos transformers, detecta “sícophancy” em LLMs ao inspecionar representações de concordância nos pesos e corrige, sem roll‑outs nem back‑propagation, uma política de controle físico que falhava totalmente, aumentando a taxa de sucesso de 0 % para 100 % ao alterar 3,5 % dos pesos. Por fim, o estudo evidencia que LLMs podem até gerar redes funcionais a partir de zero, sinalizando que a otimização baseada em texto está cedendo lugar a uma programação direta no espaço de pesos, com profundas implicações para treinamento, depuração e governança de IA.