O Google atualizou dois de seus documentos de ajuda para explicar os limites do Googlebot durante o rastreamento. Especificamente, quanto o Googlebot pode consumir por tipo de arquivo e formato.
Os limites. Os limites, alguns dos quais já foram documentados e não são novosincluem:
- 15 MB para páginas da web: Google escreveu“Por padrão, os rastreadores e buscadores do Google rastreiam apenas o primeiros 15 MB de um arquivo.”
- 64 MB para arquivos PDF: Google escreveu“Ao rastrear a Pesquisa Google, o Googlebot rastreia os primeiros 2 MB de um tipo de arquivo compatível e os primeiros 64 MB de um arquivo PDF.”
- 2 MB para tipos de arquivos suportados: Google escreveu“Ao rastrear a Pesquisa Google, o Googlebot rastreia o primeiros 2 MB de um tipo de arquivo compatívele os primeiros 64 MB de um arquivo PDF.”
Observe que esses limites são muito grandes e a grande maioria dos sites não precisa se preocupar com eles.
Texto completo. Aqui está o que o Google postou na íntegra em seus documentos de ajuda:
- “Por padrão, os rastreadores e buscadores do Google rastreiam apenas os primeiros 15 MB de um arquivo. Qualquer conteúdo além desse limite é ignorado. Projetos individuais podem definir limites diferentes para seus rastreadores e buscadores, e também para diferentes tipos de arquivo. Por exemplo, um rastreador do Google pode definir um limite de tamanho de arquivo maior para um PDF do que para HTML.”
- “Ao rastrear para a Pesquisa Google, o Googlebot rastreia os primeiros 2 MB de um tipo de arquivo compatível e os primeiros 64 MB de um arquivo PDF. Do ponto de vista da renderização, cada recurso referenciado no HTML (como CSS e JavaScript) é buscado separadamente, e cada busca de recurso é vinculada ao mesmo limite de tamanho de arquivo que se aplica a outros arquivos (exceto arquivos PDF). Quando o limite de corte é atingido, o Googlebot interrompe a busca e envia apenas a parte já baixada do arquivo para consideração de indexação. O tamanho do arquivo limite é aplicado aos dados não compactados. Outros rastreadores do Google, por exemplo, Googlebot Video e Googlebot Image, podem ter limites diferentes.
Por que nos importamos. É importante conhecer esses limites, mas, novamente, a maioria dos sites provavelmente nunca chegará perto desses limites. Dito isto, esses são os limites de documentos para rastreamento do Googlebot.
Search Engine Land é propriedade de Semrush. Continuamos comprometidos em fornecer cobertura de alta qualidade de tópicos de marketing. Salvo indicação em contrário, o conteúdo desta página foi escrito por um funcionário ou contratado remunerado da Semrush Inc.
Barry Schwartz é tecnólogo e editor colaborador do Search Engine Land e membro da equipe de programação de eventos SMX. Ele possui RustyBrickuma empresa de consultoria web com sede em Nova York. Ele também corre Mesa Redonda sobre Mecanismos de Pesquisaum blog de pesquisa popular sobre tópicos SEM muito avançados.
Em 2019, Barry recebeu o prêmio Outstanding Community Services Award da Search Engine Land, em 2018 ele foi premiado com o US Search Awards como “Personalidade de pesquisa do ano nos EUA”, você pode aprender mais aqui e em 2023 ele foi listado como um dos 50 PPCer mais influentes pela Marketing O’Clock.
Barry pode ser seguido no X aqui e você pode aprender mais sobre Barry Schwartz aqui ou em seu site pessoal.
