Cloudflare anunciou ontem seu novo Remarcação para agentes recurso, que oferece versões de conteúdo da web amigáveis para máquinas, juntamente com páginas tradicionais voltadas para humanos.
- A Cloudflare descreveu a atualização como uma resposta ao aumento dos rastreadores de IA e da navegação agente.
- Quando um cliente solicita
text/markdowna Cloudflare busca o HTML do servidor de origem, converte-o na borda e retorna uma versão Markdown.
- A resposta também inclui um cabeçalho de estimativa de token destinado a ajudar os desenvolvedores a gerenciar janelas de contexto.
- As primeiras reações concentraram-se nos ganhos de eficiência, bem como nas implicações mais amplas de servir representações alternativas de conteúdo da web.
O que está acontecendo. A Cloudflare, que alimenta cerca de 20% da web, disse que o Markdown for Agents usa negociação de conteúdo HTTP padrão. Se um cliente enviar um Accept: text/markdown cabeçalho, o Cloudflare converte a resposta HTML instantaneamente e retorna Markdown. A resposta inclui Vary: acceptportanto, os caches armazenam variantes separadas.
- A Cloudflare posicionou o recurso opt-in como parte de uma mudança na forma como o conteúdo é descoberto e consumido, com rastreadores e agentes de IA se beneficiando de texto estruturado e com menor sobrecarga.
- Markdown pode reduzir o uso de tokens em até 80% em comparação com HTML, disse Cloudflare.
Preocupação com segurança. O consultor de SEO David McSweeney disse que o recurso Markdown for Agents da Cloudflare poderia tornar a camuflagem de IA trivial porque o Accept: text/markdown O cabeçalho é encaminhado para servidores de origem, sinalizando efetivamente que a solicitação é de um agente de IA.
- Uma solicitação padrão retorna conteúdo normal, enquanto uma solicitação Markdown pode acionar uma resposta HTML diferente que a Cloudflare então converte e entrega à IA, mostrou McSweeney é LinkedIn.
- A preocupação: os sites podem injetar instruções ocultas, dados alterados de produtos ou outro conteúdo exclusivo de máquina, criando uma “teia sombria” para bots, a menos que o cabeçalho seja removido antes de chegar à origem.
O confronto de descontos do Google e do Bing. Comentários recentes de representantes do Google e da Microsoft desencorajam os editores de criando páginas de markdown separadas para grandes modelos de linguagem. John Mueller do Google disse:
- “No meu ponto de vista, os LLMs treinaram – leram e analisaram – páginas normais da web desde o início. Parece que eles não têm problemas em lidar com HTML. Por que eles iriam querer ver uma página que nenhum usuário vê? E, se eles verificam a equivalência, por que não usar HTML?”
E Fabrice Canel da Microsoft disse:
- “Quer mesmo duplicar a carga de rastreamento? Rastrearemos de qualquer maneira para verificar a similaridade. Versões não-usuárias (AJAX rastreáveis e similares) são frequentemente negligenciadas e quebradas. Os olhos humanos ajudam a consertar pessoas e conteúdo visualizado por bot. Gostamos de esquema nas páginas. A IA nos torna ótimos na compreensão de páginas da web. Menos é mais em SEO!”
- O recurso da Cloudflare não cria um segundo URL. No entanto, ele gera representações diferentes com base nos cabeçalhos das solicitações.
O caso contra a remarcação. O consultor técnico de SEO Jono Alderson disse que, uma vez que existe uma representação específica da máquina, as plataformas devem decidir se confiam nela, verificam-na em relação à versão humana ou ignoram-na:
- “Quando você achata uma página em markdown, você não apenas remove a desordem. Você remove o julgamento e remove o contexto.”
- “No momento em que você publica uma representação de uma página apenas por máquina, você cria uma segunda versão candidata da realidade. Não importa se você promete que é gerado a partir da mesma fonte ou jura que é ‘o mesmo conteúdo’. Do lado de fora, um sistema agora vê duas representações e tem que decidir qual delas realmente reflete a página.”
Você mais fundo. Por que as páginas somente LLM não são a resposta para a pesquisa de IA
Por que nos importamos. A mudança da Cloudflare poderia tornar a ingestão de IA mais barata e limpa. Mas isso poderia ser considerado camuflagem se você estiver exibindo conteúdo diferente para humanos e rastreadores? Continua…
Search Engine Land é propriedade de Semrush. Continuamos comprometidos em fornecer cobertura de alta qualidade de tópicos de marketing. Salvo indicação em contrário, o conteúdo desta página foi escrito por um funcionário ou contratado remunerado da Semrush Inc.
Danny Goodwin é diretor editorial da Search Engine Land & Expo de marketing de pesquisa – SMX. Ele ingressou no Search Engine Land em 2022 como editor sênior. Além de reportar as últimas notícias de marketing de busca, ele gerencia o programa SME (Subject Matter Expert) da Search Engine Land. Ele também ajuda a programar eventos SMX nos EUA.
Goodwin tem editado e escrito sobre os últimos desenvolvimentos e tendências em pesquisa e marketing digital desde 2007. Anteriormente, foi editor executivo do Search Engine Journal (de 2017 a 2022), editor-chefe da Momentology (de 2014 a 2016) e editor do Search Engine Watch (de 2007 a 2014). Ele falou em muitas conferências de pesquisa e eventos virtuais importantes e sua experiência foi adquirida por uma ampla variedade de publicações e podcasts.
