O Clarity da Microsoft lançou uma maneira de identificar padrões que mostram como rastreadores de inteligência artificial (IA), bots de pesquisa e agentes automatizados interagem com o conteúdo da web muito antes que os agentes de IA forneçam tráfego de citação ou referência para editores ou sites de conteúdo.

O recurso “Bot Activity”, lançado quinta-feira, é voltado para proprietários de sites e profissionais digitais que precisam identificar se o tráfego é gerado por humanos ou bots.

Ele fornece uma maneira de identificar sinais iniciais em ciclos de conteúdo de IA.

Esses sinais são valiosos porque representam a primeira interação observável entre o conteúdo e os sistemas de IA, ocorrendo antes da atividade de fundamentação, citação ou referência.

A capacidade de identificar bots que rastreiam um site é muitas vezes o primeiro sinal identificável de como o conteúdo pode ser usado posteriormente por sistemas de IA que são resumidos ou citados em resultados de pesquisa, ou servidos em assistentes de IA. Ao contrário dos rastreadores tradicionais, os sistemas de IA podem acessar conteúdo continuamente, em muitas plataformas, em volumes significativos e em alta velocidade.

A medição é fundamental para responder a perguntas de editores e proprietários de sites, com novos tipos de perguntas, como a capacidade de identificar sistemas que acessam conteúdo e se a atividade dos bots é produtiva ou cara, e quais páginas podem ser identificadas e acessadas de forma mais agressiva pelos bots.

A atividade do AI Bot da Microsoft fornece dados sobre como os bots verificados interagem com o conteúdo de um site. Em vez de tratar o tráfego do rastreador como ruído de fundo, o Clarity o transforma em dados que os editores e profissionais de marketing podem medir e analisar. Torna os dados acessíveis para identificar a frequência com que o bot rastreia o site, bem como identificar as páginas, os caminhos e os recursos.

Os dados identificam com que frequência os agentes e bots de IA acessam o conteúdo e para quais finalidades, como indexação, preparação de recuperação, geração de incorporação ou outros fluxos de trabalho orientados por IA.

Dados da Microsoft divulgados em dezembro mostra como os assistentes de IA remodelaram os padrões de tráfego do site. A pesquisa mostra que as referências de IA cresceram 155% durante um período de oito meses. Ele examinou o tráfego do ChatGPT, Microsoft Copilot, Google Gemini e plataformas semelhantes depois que eles geraram referências para sites de origem.

A atividade do bot depende de dados de log do lado do servidor coletados por meio de integrações de CDN, dados que a análise do lado do cliente não consegue ver.

A Microsoft observa que a conexão a um servidor ou integração CDN pode resultar em custos adicionais dependendo do provedor, plataforma de nuvem, volume de tráfego e configuração regional.

Após a conexão, o Clarity começa a processar logs do lado do servidor para revelar atividades de rastreamento. A métrica do operador de bot mostra a proporção do tráfego do site gerado por bots e agentes automatizados, em vez de usuários humanos. Por padrão, esta visualização se concentra em bots e rastreadores relacionados à IA.

A métrica primária reflete a parcela do total de solicitações originadas da atividade do bot. Um valor alto indica que o acesso automatizado representa uma parte significativa do seu tráfego geral. Esses insights podem apoiar o planejamento de infraestrutura, otimização de desempenho, decisões de acessibilidade de conteúdo e avaliações sobre se a atividade do bot está contribuindo para o valor downstream.

A métrica de solicitações de caminho destaca as páginas e recursos que recebem o maior número de solicitações automatizadas. As solicitações são agregadas no nível do caminho e incluem tipos de conteúdo como páginas HTML, imagens, terminais JSON, arquivos XML e outros ativos.