Representantes das equipes da Pesquisa Google e do Bing Search não recomendam a criação de páginas de markdown (.md) separadas para fins de LLM. O objetivo é servir um conteúdo para o LLM e outro conteúdo para seus usuários, o que tecnicamente pode ser considerado uma forma de camuflagem e contra as políticas do Google.

A questão. Lily Ray perguntado no céu azul:

• “Não tenho certeza se você pode responder, mas estou começando a ouvir muito sobre a criação de páginas markdown/JSON separadas para LLMs e o fornecimento desses URLs para bots.”

Resposta do Google. John Mueller do Google respondeu ditado:

• “Não estou ciente de nada a esse respeito. No meu ponto de vista, os LLMs treinaram – leram e analisaram – páginas normais da web desde o início. Parece que eles não têm problemas em lidar com HTML. Por que eles iriam querer ver uma página que nenhum usuário vê? E, se eles verificam a equivalência, por que não usar HTML?”

Recentemente, John Mueller também chamou a ideia de estúpida, ditado:

• “Converter páginas em markdown é uma ideia tão estúpida. Você sabia que os LLMs podem ler imagens? POR QUE NÃO TRANSFORMAR SEU SITE INTEIRO EM UMA IMAGEM?” Obviamente, isso significa converter todo o seu site em um arquivo MD, o que é um pouco extremo, para dizer o mínimo.

Eu coletei muitos comentários de John Mueller sobre esse assunto, aqui.

A resposta do Bing. Fabrice Canel do Microsoft Bing respondeu ditado:

• “Lily: realmente quer duplicar a carga de rastreamento? Rastrearemos de qualquer maneira para verificar a similaridade. Versões não-usuárias (AJAX rastreáveis ​​e similares) são frequentemente negligenciadas, quebradas. Os olhos humanos ajudam a consertar pessoas e conteúdo visualizado por bot. Gostamos de esquema em páginas. A IA nos torna ótimos para entender páginas da web. Menos é mais em SEO!”

Por que nos importamos. Alguns de nós gostam de procurar atalhos para ter um bom desempenho nos mecanismos de pesquisa e agora nos novos mecanismos de pesquisa de IA e LLMs. Geralmente, os atalhos, se funcionarem, só funcionam por um tempo limitado. Além disso, esses atalhos podem ter um efeito negativo inesperado.

Como Lily Ray escreveu no LinkedIn:

• “Sempre tive preocupações sobre o gerenciamento de conteúdo duplicado e a veiculação de conteúdo diferente para rastreadores e não para humanos, o que entendo que pode ser útil para pesquisa de IA, mas viola diretamente as políticas de longa data dos mecanismos de pesquisa sobre isso (basicamente camuflagem).”