O Google atualizou discretamente sua lista de buscadores acionados pelo usuário com nova documentação para o Google NotebookLM. A importância desta mudança aparentemente pequena é que está claro que o Google NotebookLM não obedecerá ao robots.txt.

Google NotebookLM

NotebookLM é uma ferramenta de pesquisa e escrita de IA que permite aos usuários adicionar um URL de página da web, que processará o conteúdo e, em seguida, permitirá que eles façam uma série de perguntas e gerem resumos com base no conteúdo.

A ferramenta do Google pode criar automaticamente um mapa mental interativo que organiza tópicos de um site e extrai conclusões dele.

Buscadores acionados pelo usuário ignoram Robots.txt

Os buscadores acionados pelo usuário do Google são agentes da web acionados pelos usuários e, por padrão, ignoram o protocolo robots.txt.

De acordo com os buscadores acionados pelo usuário do Google documentação:

“Como a busca foi solicitada por um usuário, esses buscadores geralmente ignoram as regras do robots.txt.”

Google-NotebookLM ignora Robots.txt

O objetivo do robots.txt é dar aos editores controle sobre os bots que indexam páginas da web. Mas agentes como o buscador Google-NotebookLM não indexam conteúdo da web, eles agem em nome dos usuários que interagem com o conteúdo do site por meio do NotebookLM do Google.

Como bloquear NotebookLM

O Google usa o Google-NotebookLM agente do usuário ao extrair o conteúdo do site. Portanto, é possível que os editores que desejam bloquear o acesso dos usuários ao seu conteúdo possam criar regras que bloqueiem automaticamente esse agente do usuário. Por exemplo, uma solução simples para editores de WordPress é usar o Wordfence para criar uma regra personalizada para bloquear todos os visitantes do site que usam o agente de usuário Google-NotebookLM.

Outra forma de fazer isso é com .htaccess usando a seguinte regra:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Google-NotebookLM (NC)
RewriteRule .* - (F,L)