Home » SEO Demystified PT » Lição 2 – Como o Googlebot Faz o Crawling da Web

Transcrição

Antes de as suas páginas poderem aparecer nos resultados de pesquisa do Google, o Google precisa primeiro de as encontrar. Este é o processo de que falámos no vídeo anterior, conhecido como crawling, e é a base de tudo no SEO.

Se o Googlebot não conseguir aceder às suas páginas, elas não vão aparecer quando potenciais clientes pesquisarem pelo que oferece. Não importa quão bom seja o seu conteúdo. Se não puder ser rastreado, é como se não existisse.

Uma boa forma de pensar nisso é imaginar uma loja sem estradas ou caminhos a dar acesso. Os produtos podem ser excelentes, mas se ninguém conseguir chegar lá, ninguém vai comprar nada. É por isso que entender como o Googlebot funciona é tão importante.

E quando entender o crawling, vai conseguir tomar melhores decisões sobre o seu site sem precisar de adivinhar.

Quando terminar este vídeo, vai perceber claramente o que é o crawling e como o Googlebot descobre as suas páginas.

O Googlebot é o crawler da Google. É um programa automático que explora a internet ao visitar sites e recolher informações sobre as suas páginas. O seu trabalho é bastante simples. Encontra páginas, lê o conteúdo e envia essa informação de volta para o Google, para que este possa decidir como essas páginas devem aparecer nos resultados de pesquisa.

Este processo de descoberta de páginas é o que chamamos de crawling. O Googlebot move-se pela web seguindo links, tal como uma pessoa que vai clicando de página em página. Ao visitar uma página, analisa o texto, as imagens e o código por trás dela, e depois envia esses dados para o Google para uma análise mais aprofundada.

Hoje em dia, a maioria dos sites é rastreada usando o Googlebot smartphone. Isto significa que o Google olha principalmente para a versão mobile do seu site, e não para a versão desktop. É por isso que a usabilidade em dispositivos móveis deixou de ser opcional.

Se o seu site não funcionar bem num telemóvel, isso pode afetar diretamente a forma como o Google o entende e o rastreia.

Existem várias formas de o Googlebot descobrir páginas. Nesta parte do vídeo, vamos ver algumas das mais comuns.

A primeira é através de links. Tal como você pode clicar num link para passar de uma página para outra, o Googlebot segue links para encontrar novo conteúdo. Podem ser links internos, que ligam páginas do seu próprio site, ou backlinks externos, vindos de outros sites que apontam para o seu.

Um ponto importante aqui é que, se tiver páginas no seu site que não estão ligadas a partir de mais nenhum lugar, conhecidas como páginas órfãs, o Googlebot pode nunca encontrá-las. É por isso que vamos analisar os links internos com mais detalhe mais à frente neste curso.

A segunda forma é através de um sitemap XML, que é exatamente o que parece. É basicamente uma lista de todas as páginas do seu site que quer que o Google conheça.

Depois de ter o seu sitemap, pode enviá-lo através de uma ferramenta chamada Google Search Console, que também vamos explorar com mais detalhe mais à frente neste curso. A maioria dos sites, especialmente os criados com sistemas de gestão de conteúdo como WordPress, Joomla ou Magento, já tem um sitemap automático. Isto significa que as páginas são adicionadas e removidas automaticamente à medida que faz alterações no seu site.

Isto é útil porque mantém o Google atualizado sobre quais páginas estão disponíveis no seu site neste momento.

A terceira forma é pedir manualmente ao Google para rastrear uma página, usando a ferramenta de inspeção de URL dentro do Google Search Console. Basta colar o URL da página e clicar em solicitar indexação.

Isto é especialmente útil quando publica uma nova página ou faz atualizações importantes numa página existente e quer que o Google a verifique o mais rápido possível.

Os links internos fazem mais do que apenas ajudar o Googlebot a encontrar páginas. Também ajudam o Google a perceber quais são as páginas mais importantes do seu site. Pode pensar nos links internos como sinais de importância. Quando liga a uma página várias vezes dentro do seu site, está basicamente a dizer ao Google que essa página merece atenção.

Por exemplo, imagine um site que vende máquinas de café. Se os artigos do blog, as páginas de categoria e outros conteúdos ligarem com frequência a uma página chamada melhores máquinas de café para escritórios, o Google pode assumir que essa página é importante.

Ainda assim, os links internos devem sempre ser usados de forma lógica para o utilizador. Adicionar links apenas por SEO, sem relevância real, costuma fazer mais mal do que bem. Os links internos devem ajudar as pessoas a navegar no seu site e a compreendê-lo melhor.

O crawl budget refere-se ao número de páginas que o Googlebot vai rastrear no seu site durante um determinado período de tempo. Isto acontece porque o Google não tem recursos ilimitados e precisa de decidir quanta atenção vai dar a cada site.

Para a maioria dos sites pequenos e médios, o crawl budget não é algo com que precise de se preocupar. Se o seu site tiver menos de cerca de 10.000 páginas, o Google normalmente consegue rastreá-lo de forma eficiente.

Mas se o seu site tiver mais de 10.000 páginas, pode valer a pena analisar este tema. Ainda assim, isso vai além do que vamos abordar neste curso, porque não se aplica à grande maioria das pessoas.

Na verdade, neste ponto, já percebe mais sobre crawling e sobre como o Google encontra páginas do que a maioria das pessoas que trabalham em SEO. E no próximo vídeo, vamos falar sobre indexação e como o Google decide se uma página pode aparecer nas SERPs.