Google lista limites de arquivos do Googlebot para rastreamento

O Google atualizou dois de seus documentos de ajuda para explicar os limites do Googlebot durante o rastreamento. Especificamente, quanto o Googlebot pode consumir por tipo de arquivo e formato.

Os limites. Os limites, alguns dos quais já foram documentados e não são novosincluem:

• 15 MB para páginas da web: Google escreveu“Por padrão, os rastreadores e buscadores do Google rastreiam apenas o primeiros 15 MB de um arquivo.”
• 64 MB para arquivos PDF: Google escreveu“Ao rastrear a Pesquisa Google, o Googlebot rastreia os primeiros 2 MB de um tipo de arquivo compatível e os primeiros 64 MB de um arquivo PDF.”
• 2 MB para tipos de arquivos suportados: Google escreveu“Ao rastrear a Pesquisa Google, o Googlebot rastreia o primeiros 2 MB de um tipo de arquivo compatívele os primeiros 64 MB de um arquivo PDF.”

Observe que esses limites são muito grandes e a grande maioria dos sites não precisa se preocupar com eles.

Texto completo. Aqui está o que o Google postou na íntegra em seus documentos de ajuda:

• “Por padrão, os rastreadores e buscadores do Google rastreiam apenas os primeiros 15 MB de um arquivo. Qualquer conteúdo além desse limite é ignorado. Projetos individuais podem definir limites diferentes para seus rastreadores e buscadores, e também para diferentes tipos de arquivo. Por exemplo, um rastreador do Google pode definir um limite de tamanho de arquivo maior para um PDF do que para HTML.”
• “Ao rastrear para a Pesquisa Google, o Googlebot rastreia os primeiros 2 MB de um tipo de arquivo compatível e os primeiros 64 MB de um arquivo PDF. Do ponto de vista da renderização, cada recurso referenciado no HTML (como CSS e JavaScript) é buscado separadamente, e cada busca de recurso é vinculada ao mesmo limite de tamanho de arquivo que se aplica a outros arquivos (exceto arquivos PDF). Quando o limite de corte é atingido, o Googlebot interrompe a busca e envia apenas a parte já baixada do arquivo para consideração de indexação. O tamanho do arquivo limite é aplicado aos dados não compactados. Outros rastreadores do Google, por exemplo, Googlebot Video e Googlebot Image, podem ter limites diferentes.

Por que nos importamos. É importante conhecer esses limites, mas, novamente, a maioria dos sites provavelmente nunca chegará perto desses limites. Dito isto, esses são os limites de documentos para rastreamento do Googlebot.