TLDR;

A Cloudflare converte páginas HTML em Markdown para crawlers de IA que solicitam o formato via cabeçalho HTTP Accept com 'text/markdown', reduzindo ruído de tags desnecessárias.. Um post de blog da Cloudflare foi reduzido de 16.180 tokens em HTML para 3.150 em Markdown, representando cerca de 80% menos consumo.. A funcionalidade inclui o cabeçalho 'x-markdown-tokens' que informa o total de tokens do conteúdo entregue, ajudando IAs com limites de contexto, e aplica-se apenas a páginas HTML.

Resumo

A Cloudflare anunciou uma inovação que permite aos sites entregar conteúdo em formato Markdown para crawlers e agentes de inteligência artificial, em vez do HTML tradicional, reduzindo o consumo de tokens em até 80%. O Markdown elimina o "ruído" de tags, scripts, classes e elementos de layout desnecessários, preservando apenas a estrutura semântica do texto, o que torna o processamento mais eficiente para modelos de linguagem. Por exemplo, um post de blog da própria empresa caiu de 16.180 tokens em HTML para 3.150 em Markdown. Para ativar, o crawler deve incluir o cabeçalho HTTP "Accept: text/markdown", e a Cloudflare responde com o conteúdo convertido, adicionando o cabeçalho "x-markdown-tokens" para indicar o total de tokens, auxiliando em contextos limitados. A funcionalidade aplica-se apenas a páginas HTML, não a PDFs. Essa medida complementa a Content Signals Policy, que permite aos editores definirem no robots.txt regras para uso do conteúdo em treinamento de IA, buscas baseadas em IA ou aplicações como RAG, embora a adesão seja voluntária. Executivos como Celso Martinho e Will Allen destacam que ferramentas como Claude Code já solicitam Markdown, sinalizando uma evolução na web para atender o consumo intensivo por IAs. (198 palavras)