TLDR;

Sistemas Multi-Agentes Recursivos é o framework RecursiveMAS que trata todo o sistema de agentes heterogêneos como uma computação recursiva em espaço latente, conectando-os por módulos leves chamados RecursiveLink para gerar e transferir estados latentes iterativamente. A recursão ocorre em rodadas: cada agente usa um inner RecursiveLink para refinar seus "pensamentos" latentes e um outer RecursiveLink para mapear e transferir esses latentes ao próximo agente, formando um laço onde apenas o último agente produz a saída textual final. Segundo os experimentos, RecursiveMAS melhora em média 8,3% na acurácia, acelera a inferência entre 1,2× e 2,4× e reduz o uso de tokens entre 34,6%–75,6%, além de oferecer maior eficiência de tempo de execução e estabilidade de gradientes em relação a MAS baseados em texto.

Abstract

RecursiveMAS propõe escalar sistemas multiagente via recursão em espaço latente, conectando agentes heterogêneos por meio de um módulo leve, o RecursiveLink, que contém um inner link para consolidar pensamentos latentes entre passos autoregressivos e um outer link para mapear e transferir estados entre diferentes modelos. O framework trata o sistema inteiro como uma computação recursiva unificada, aplicando iterações sobre representações latentes e treinando com um esquema inner-outer: o inner aperfeiçoa links internos de cada agente e o outer co-otimiza os links entre agentes com backpropagação através das rodadas de recursão. Comparado a interações baseadas em texto, a conexão em espaço latente reduz latência, economiza tokens e preserva fluxo de gradiente estável. A teoria analisa complexidade de tempo e dinâmica de aprendizado, justificando maior eficiência e estabilidade. Experimentalmente, instâncias com diversas famílias de LLMs e quatro padrões de colaboração (sequencial, mistura de especialistas, destilação e deliberação com ferramentas) foram avaliadas em nove benchmarks de matemática, ciência, medicina, busca e código, mostrando ganhos médios de 8,3% em acurácia, speedups de 1,2–2,4× e redução de tokens entre 34,6%–75,6%, além de boa escalabilidade com profundidade de recursão. O design é agnóstico à estrutura, adapta-se a variados padrões colaborativos e requer apenas ajustes leves adicionais.

Metodologia

Segue um resumo conciso da metodologia do estudo RecursiveMAS, em português:

• Objetivo geral

• Tratar todo o sistema multi‑agente como uma computação recursiva em espaço latente, onde agentes heterogêneos iteram e refinam estados latentes numa “loop” de colaboração, em vez de trocar texto entre si.

• Representação e recursão em espaço latente

• Cada agente é um LLM que gera estados latentes (última camada). A recursão consiste em realimentar esses estados latentes para passos/iterações subsequentes, permitindo aprofundar o raciocínio sem decodificar para tokens intermediários.

• RecursiveLink (módulo leve de ligação)

• Módulo residual de poucas camadas projetado para preservar e transmitir informação latente entre gerações e entre agentes.
• Inner RecursiveLink: conectivo interno de cada agente (h → h + W2 σ(W1 h)) que consolida “pensamentos” latentes durante a geração autoregressiva, servindo como warm‑start do estado latente seguinte do mesmo agente.

• Outer RecursiveLink: mapeia estados latentes entre agentes heterogêneos (diferenças de dimensão) usando uma camada linear adicional na via residual, permitindo passagem contínua de informação entre modelos distintos.

• Arquitetura do sistema

• Agentes são encadeados formando um loop: cada agente aplica seu inner link, produz um estado latente que é convertido via outer link para o próximo agente; após o último agente, o latente retorna ao primeiro para outra rodada recursiva. Só o último agente gera texto final na iteração final.

• Suporta diferentes padrões de colaboração (sequencial, mixture-of-experts, distillation expert→learner, deliberação com ferramentas).

• Treinamento: paradigma Inner–Outer Loop

• Inner loop: treina localmente os inner RecursiveLinks de cada agente (aquecer/alinhar geração latente do próprio agente).
• Outer loop: treina os outer RecursiveLinks ao nível do sistema, com backpropagação através das várias iterações recursivas (gradiente compartilhado através das rounds) — co‑otimização de todo o fluxo latente sem atualizar todos os pesos dos LLMs.

• Essa decomposição reduz a complexidade de treinar modelos inteiros e permite atribuição de crédito baseada em gradiente ao longo da recursão.

• Justificativas teóricas

• Análise de complexidade: comunicação e computação em espaço latente evitam decodificações repetidas para texto, oferecendo melhor eficiência de tempo e tokens que esquemas text‑mediados.

• Dinâmica de aprendizado: conexões em espaço latente mantêm fluxo de gradiente estável durante recursão, mitigando problemas de desaparecimento de gradiente que ocorrem com intervenções por texto.

• Instanciação empírica

• Aplicaram RecursiveMAS com várias famílias de LLMs (Qwen, Llama, Gemma, Mistral) e quatro padrões de colaboração.

• Avaliação em 9 benchmarks (matemática, ciência, medicina, busca, geração de código) comparando com baselines single/multi‑agent e modelos recursivos textuais.

• Ponto-chave prático

• Apenas os módulos RecursiveLink (inner e outer) são treinados/ajustados para permitir co‑optimização do sistema; os agentes em si permanecem majoritariamente intactos, o que facilita adaptação entre modelos heterogêneos e reduz custos de treino.

Esse é o núcleo metodológico: formular colaboração multi‑agente como recursão latente, conectar agentes com módulos leves (RecursiveLink), adotar um treinamento em dois níveis (inner/outer) com retropropagação através das iterações, e demonstrar ganhos de precisão, latência e uso de tokens frente a abordagens baseadas em troca de texto.

Conclusoes

Resumo rápido: o trabalho propõe RecursiveMAS, uma formulação recursiva de sistemas multi‑agente que realiza a colaboração no espaço latente (não via texto) e mostra que isso é mais eficiente, treinável e escalável na prática. Principais contribuições e conclusões:

Contribuições técnicas
- Introdução do framework RecursiveMAS: trata o sistema multi‑agente como uma computação recursiva unificada em espaço latente, onde agentes formam um laço de refinamento iterativo.
- Módulo leve RecursiveLink: design prático em duas variantes — inner (intra‑agente) e outer (inter‑agentes) — uma projeção residual de duas camadas que permite transmitir e refinar “pensamentos” latentes entre iterações e entre modelos heterogêneos.
- Paradigma de treino Inner–Outer Loop: esquema de otimização com loop interno (ajuste do inner link por agente) e loop externo (co‑otimização do sistema com backpropagação através das rodadas recursivas), permitindo atribuição de crédito baseada em gradientes across rounds.
- Análises teóricas: demonstrações de que a conexão em espaço latente reduz custo de tempo comparado a protocolos baseados em texto e preserva fluxos de gradiente (evitando o desaparecimento de gradiente típico da interação via texto).
- Instanciação e avaliação ampla: aplica RecursiveMAS a 4 padrões de colaboração (sequencial, mixture-of-experts, distillation, deliberation) e a múltiplas famílias de LLMs (Qwen, Llama‑3, Gemma3, Mistral), com avaliação em 9 benchmarks (matemática, ciência, medicina, busca, código).

Principais conclusões empíricas e práticas
- Melhora de desempenho: ganho médio de acurácia ≈ 8.3% sobre baselines avançados (single/multi‑agent e modelos recursivos).
- Eficiência em inferência: speedup de ponta‑a‑ponta entre ≈1.2× e 2.4×.
- Economia de tokens: redução no uso de tokens entre ≈34.6% e 75.6% (menos decodificação textual intermediária).
- Escalabilidade e generalização: comportamento consistente ao aumentar a profundidade de recursão; o framework adapta‑se bem a diferentes estruturas de colaboração e tamanhos/heterogeneidade de agentes.
- Benefício do espaço latente: comunicação latente evita latência e custo de decodificação/reencondicionamento por texto e mantém gradientes estáveis para aprendizagem recursiva do sistema.

Implicações práticas
- Permite co‑evolução do sistema inteiro sem necessidade de atualizar todos os parâmetros dos LLMs (apenas os RecursiveLinks), o que é mais prático para integrar modelos heterogêneos.
- Adequado para cenários que exigem iteração/refinamento colaborativo (razonamento complexo, integração de ferramentas, distilação entre modelos).

(Breve nota) Limitações típicas a considerar: necessidade de armazenamento/propagação de representações latentes entre modelos, custos de treino para backpropagação através de rounds recursivos, e dependência de qualidade das projeções RecursiveLink para transferência sem perda semântica.

Se quiser, eu resumo as contribuições em uma versão ainda mais curta (2–3 frases) ou extraio os números e figuras chave para apresentação.