TLDR;

Eles propõem um framework recursivo em que o texto enorme é guardado fora do modelo (num ambiente Python) e o LLM recebe ferramentas para buscar recursivamente trechos relevantes, permitindo processar prompts com milhões de tokens. Sim: a técnica é aplicada em tempo de inferência sem alterar os pesos do modelo e evita a perda de qualidade da compactação porque em vez de resumir preserva e pesquisa diretamente as partes relevantes. Os resultados mostram qualidade estável até cerca de 1 milhão de tokens frente à queda de modelos sem a técnica por volta de 262k, o que sugere que esse método pode praticamente eliminar o limite do contexto, embora exija infraestrutura para indexação e buscas recursivas.

Resumo

Pesquisadores do MIT propuseram uma estratégia chamada Recursive Language Models (RLMs) que permite processar prompts arbitrariamente longos sem alterar o modelo base, armazenando o texto extenso fora da janela de contexto e dando ao LLM ferramentas (via um ambiente Ripple em Python) para buscar e consultar esse conteúdo de forma recursiva. Em vez de condensar ou resumir o contexto — abordagem lossy comum em compactação de contexto — o modelo faz buscas direcionadas e, quando encontra trechos relevantes, pode fazer subconsultas para aprofundar a análise, agregando evidências de múltiplas seções. Essa arquitetura mostrou desempenho robusto em benchmarks difíceis (browse comp, oolong, ulong pairs, LongBench v2 para código) e em tarefas como pesquisa profunda, agregação de informações e entendimento de repositórios de código, mantendo qualidade consistente em escalas de milhões a mais de dez milhões de tokens. Testes com GPT5 e Qwen‑3Coder demonstraram ganhos de duplas dezenas de pontos sobre baselines, com custo médio comparável ou menor que ingestão direta de milhões de tokens, embora haja alta variância de custo pela profundidade recursiva. A contribuição principal é tratar o contexto extenso como ambiente simbólico acessível ao modelo, reforçando a tendência de construir ferramentas e scaffolding ao redor dos LLMs, efetivamente úteis.