Eu abordo a situação absolutamente insana, frustrante e cara de ferramentas de IA, bots e scraping e o que os proprietários de sites podem fazer agora para mitigar o problema.

Você provavelmente já ouviu falar sobre a quantidade absurda de rastreamento realizado por raspadores de IA, ferramentas de pesquisa de IA, bots e outros, agora que o AI Search chegou. Mas você já viu como é? Quero dizer, você REALMENTE viu os gráficos e tabelas mostrando o quão ruim isso é? Bem, hoje é seu dia de sorte.
Tenho meu blog há quase duas décadas (literalmente) e nunca tive problemas com excesso de tráfego com meu provedor de hospedagem (que agora é Kinsta). E por falar nisso, Kinsta é incrível e tenho ficado extremamente feliz com seus serviços ao longo do tempo. Mas há alguns meses algo novo aconteceu. E foi perturbador pra caramba.

Quando o tráfego não é tráfego, você é cobrado por esse tráfego.
Vários meses atrás, comecei a receber e-mails da Kinsta informando que estava me aproximando do meu limite de ‘visitas’ e que seria cobrado pelo excedente. Isso nunca aconteceu antes, nunca. Mesmo quando as postagens do meu blog se tornaram virais e muito tráfego chegava ao meu site, não recebi esses e-mails.
Claramente pensei que era um erro e que Kinsta deveria investigar o “tráfego”. E, novamente, nunca cheguei perto dos limites antes, então algo mudou – dica, dica, o ecossistema AI Search chegou. 🙂
No primeiro mês em que recebi aquele e-mail da Kinsta, na verdade encolhi os ombros, mas rapidamente entrei em contato com algumas pessoas da Kinsta que investigaram o assunto. Para mim, estava bastante claro que ferramentas de IA, scrapers e bots estavam prejudicando meu site e isso estava causando o excesso. E, pelo que sabemos, até mesmo as plataformas oficiais de pesquisa de IA poderiam estar rastreando meu site, mascarando quem realmente eram. Sabemos que isso já aconteceu antes, tosse Perplexidadeentão era perfeitamente possível.
E para ser claro, não estou dizendo que você deve bloquear plataformas oficiais de IA como ChatGPT, Perplexity, Claude, etc. Em vez disso, existem muitas ferramentas e scrapers por aí martelando sites em busca de conteúdo, dados, etc., e é a isso que estou me referindo aqui. E eles não usam user-agents específicos que poderiam ser bloqueados pelo robots.txt, sinalizados por provedores de hospedagem, etc. Eles podem facilmente parecer visitantes humanos…
Aqui está a aparência do meu gráfico de “visitas” na Kinsta. Não houve como ter 366 mil visitas humanas ao meu site durante esse período:

Kinsta: Tudo limpo na frente de raspagem. Mas foi?
De qualquer forma, Kinsta investigou um pouco e explicou que não havia nada que pudessem fazer, já que vários endereços IP não estavam vinculados a bots oficiais e essas outras visitas estavam se misturando com visitantes normais do site. E embora Kinsta forneça Cloudflare como um CDN, esse recurso não inclui gerenciamento de bot mais avançado e funcionalidade de bloqueio. Portanto, a solução foi inscrever-se em minha própria conta Cloudflare além do meu pacote de hospedagem que já utilizava o Cloudflare como um CDN.
Adicionei essa tarefa à minha lista de tarefas, mas muitas coisas atrapalharam. Trabalho do cliente, atualizações do Google e o ritmo insano de mudanças na indústria à medida que as plataformas de pesquisa de IA entram em cena. E a última parte foi irônica, considerando que ferramentas de IA, scrapers e bots provavelmente estavam causando a enorme quantidade de rastreamento que gerava excessos de hospedagem!
Alguns meses se passaram e eu não agi simplesmente com base na minha agenda maluca. E como você pode imaginar, chegaram mais e-mails da Kinsta sobre excedentes. Foi uma loucura.

Finalmente puxando o gatilho com Cloudflare:
Finalmente encontrei algum tempo para configurar o Cloudflare separadamente da minha conta Kinsta. E então esperei para ver o que aconteceria. Seus sistemas de detecção de bots atenuariam o ataque de rastreamento ou essas ferramentas, rastreadores e scrapers ainda sobreviveriam? E, novamente, eu não estava bloqueando bots oficiais de IA. Eu só queria bloquear o “tráfego” automatizado que não era humano e estava consumindo meu plano de hospedagem.
Certifiquei-me de que o modo Super Bot Fight estava configurado em minha conta:

Drumroll, por favor… Bem, Cloudflare capturou o tráfego automatizado (pelo menos a maior parte dele). Abaixo, confira a queda de “visitas” de acordo com as análises da Kinsta. Fale sobre cair de um penhasco. Incrível.

Aqui estão os dados da Cloudflare baseados no tráfego automatizado que ele está mitigando agora versus o tráfego que está deixando passar. Observe que são apenas sete dias de dados… Ufa.

E aqui está a análise de bot no Cloudflare

Sim, aqueles bots e scrapers de IA estavam martelando meu site. E sei que muitos outros proprietários de sites estão nesta situação. Portanto, se você estiver enfrentando excessos de hospedagem com base no excesso de limites de tráfego com seu provedor, não hesite… configure o Cloudflare logo. Há muitos benefícios em usar o Cloudflare além do gerenciamento de bots, mas este é um grande problema, considerando a quantidade insana de rastreamento e raspagem que ocorre à medida que as plataformas e ferramentas de pesquisa de IA se expandem.
Claro, você provavelmente ficará um pouco sobrecarregado com as configurações e opções do Cloudflare, mas depois de executar a configuração correta, você ficará muito feliz. Adeus bots e scrapers e olá, custos de hospedagem mais baixos.
Bônus: pagamento por largura de banda versus visitas. Outra opção para proprietários de sites.
Também gostaria de mencionar outra opção para proprietários de sites que não desejam configurar o Cloudflare por algum motivo. Literalmente um dia depois de configurar o Cloudflare, Kinsta enviou um e-mail para seus clientes com base na quantidade absurda de rastreamento de IA acontecendo (e muitos recebendo avisos de excesso). Kinsta explicou que você pode mudar sua conta para preços de largura de banda em vez de preços de visitas, o que pode ajudar a manter baixas as cobranças excedentes. Ainda recomendo configurar o Cloudflare com base na quantidade de recursos e funcionalidades que você recebe, mas gostaria de mencionar essa opção. Você pode ver parte do e-mail abaixo. Então, definitivamente fale com seu provedor de hospedagem caso queira seguir esse caminho.

Resumo: Pare com a loucura da IA ​​e bloqueie os bots (ruins):
Novamente, isso apenas ressalta a insanidade da IA ​​no momento. Existem tantos bots de IA, scrapers, crawlers e outras “visitas” de BS acontecendo que é difícil de gerenciar. E isso pode custar muito dinheiro desperdiçado. Portanto, configure o Cloudflare, obtenha os recursos essenciais em suas configurações e bloqueie essas “visitas” BS. Sua conta bancária vai agradecer.
GG

A postagem Pare a ferramenta de IA e a loucura do raspador – Configure o Cloudflare hoje e veja o tráfego automatizado caro desaparecer (estudo de caso) apareceu pela primeira vez em O driver de marketing na Internet.

Fonte