A CloudFlare anunciou hoje um novo recurso que permite sinalizar via robots.txt se seu conteúdo pode ser usado nas visões gerais da AI do Google (bem como no treinamento de IA).

• A política de novos sinais de conteúdo da Cloudflare deve dar aos editores mais controle sobre como os rastreadores e os bots usam seus dados, além das diretivas tradicionais que apenas regulam o rastreamento e a indexação.

Como funciona. A política adiciona três novas diretivas legíveis por máquina ao robots.txt:

• search: permissão para criar um índice de pesquisa e mostrar links/snippets (pesquisa tradicional).
• ai-input: permissão para usar o conteúdo como entrada para respostas geradas por IA.
• ai-train: permissão para usar o conteúdo para treinar modelos de IA.

Por exemplo:

User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /

O CloudFlare adicionará automaticamente essas diretivas para milhões de sites de clientes que já usam seu serviço Robots.txt gerenciado.

Sim, mas. O Google não se comprometeu a honrar essas instruções.

• O CEO da Cloudflare, Matthew Prince, disse A informação (Assinatura necessária) que o Google recebeu um aviso sobre os sinais de conteúdo, mas não disse se respeitará os novos sinais.
• As diretivas robots.txt não são legalmente vinculativas, e o CloudFlare reconheceu que algumas empresas podem ignorá -las.

Por que nos importamos. O Google ou outras empresas de IA cumprirá voluntariamente? Eu duvido. Ainda assim, essa nova opção, pelo menos, oferece uma maneira de recuar – uma maneira de dizer “sim para pesquisar, não para a visão geral da IA”, um controle que simplesmente não existia antes. Isso importa porque as respostas geradas pela IA foram amplamente criticadas por corroer o tráfego e fornecer pouco ou nenhum valor em troca.

Imagem maior:

• Cloudflare diz que os bots podem exceder o tráfego humano na Internet até 2029, aumentando as apostas para fornecer ferramentas para os editores para gerenciar como seu conteúdo é reutilizado.
• A empresa divulgou sua política de sinais de conteúdo sob um Licença CC0 Para incentivar a adoção além de sua própria base de clientes, esperando que se torne um padrão mais amplo do setor.
• Mas o CloudFlare também observa que os sinais sozinhos não são suficientes. Os editores que desejam controle mais rigoroso devem combiná -los com as regras de gerenciamento de bot e firewall.

Resumindo. A menos que o Google e outras pessoas reconheçam e sigam formalmente essas instruções, os editores permanecem presos em uma situação de perda de perda: mantenha o conteúdo aberto e arrisque o uso indevido ou desligado.

Anúncio de Cloudflare. Dando aos usuários a escolha da nova política de sinais de conteúdo da CloudFlare