Transcript
Voordat je pagina’s in de zoekresultaten van Google kunnen verschijnen, moet Google ze eerst vinden. Dit is het proces waar we het in de vorige video over hadden, namelijk crawling, en dit vormt de basis van alles binnen SEO.
Als Googlebot geen toegang heeft tot je pagina’s, verschijnen ze niet wanneer potentiële klanten zoeken naar wat jij aanbiedt. Het maakt niet uit hoe goed je content is. Als het niet gecrawld kan worden, is het alsof het niet bestaat.
Een goede manier om dit te zien, is als een winkel zonder wegen of paden ernaartoe. De producten kunnen geweldig zijn, maar als niemand er kan komen, gaat niemand iets kopen. Daarom is het zo belangrijk om te begrijpen hoe Googlebot werkt.
En zodra je crawling begrijpt, kun je betere keuzes maken voor je website zonder te hoeven gokken.
Aan het einde van deze video begrijp je duidelijk wat crawling is en hoe Googlebot jouw pagina’s ontdekt.
Googlebot is de webcrawler van Google. Het is een automatisch programma dat het internet verkent door websites te bezoeken en informatie over pagina’s te verzamelen. De taak is eigenlijk heel simpel. Het vindt pagina’s, leest ze en stuurt die informatie terug naar Google zodat bepaald kan worden hoe die pagina’s in de zoekresultaten verschijnen.
Dit proces van het ontdekken van pagina’s noemen we crawling. Googlebot beweegt zich over het web door links te volgen, net zoals iemand van pagina naar pagina klikt. Terwijl een pagina wordt bezocht, kijkt het naar zaken zoals tekst, afbeeldingen en de onderliggende code, en stuurt die gegevens terug naar Google voor verdere analyse.
Tegenwoordig worden de meeste websites gecrawld met Googlebot smartphone. Dat betekent dat Google vooral kijkt naar de mobiele versie van je site en niet naar de desktopversie. Daarom is mobiel gebruiksgemak geen optie meer.
Als je site niet goed werkt op een mobiele telefoon, kan dat direct invloed hebben op hoe Google je site begrijpt en crawlt.
Er zijn een paar manieren waarop Googlebot pagina’s ontdekt. In dit deel van de video bespreken we de meest voorkomende.
De eerste manier is via links. Net zoals jij op een link klikt om naar een andere pagina te gaan, volgt Googlebot links om nieuwe content te vinden. Dit kunnen interne links zijn, die pagina’s binnen je eigen website met elkaar verbinden, of externe backlinks van andere websites die naar jouw site verwijzen.
Een belangrijk punt om te onthouden is dat pagina’s zonder links, ook wel orphan pages genoemd, mogelijk nooit door Googlebot worden gevonden. Daarom kijken we later in deze cursus uitgebreid naar interne links.
De tweede manier waarop Googlebot pagina’s vindt, is via een XML sitemap. Dit is precies wat het lijkt: een lijst van alle pagina’s op je website die je aan Google wilt laten zien.
Zodra je een sitemap hebt, kun je die indienen via een tool genaamd Google Search Console, waar we later in deze cursus ook dieper op ingaan. De meeste websites, vooral die gebouwd zijn met een contentmanagementsysteem zoals WordPress, Joomla of Magento, hebben een automatische sitemap. Dat betekent dat pagina’s automatisch worden toegevoegd of verwijderd wanneer je wijzigingen maakt op je website.
Dit is handig, omdat Google zo altijd weet welke pagina’s er op dit moment beschikbaar zijn op je site.
De derde manier is door Google handmatig te vragen een pagina te crawlen via de URL-inspectietool in Google Search Console. Je plakt simpelweg de URL van de pagina en klikt op ‘indexering aanvragen’.
Dit is vooral handig wanneer je een nieuwe pagina hebt gelanceerd of belangrijke wijzigingen hebt doorgevoerd en je wilt dat Google dit zo snel mogelijk bekijkt.
Interne links helpen niet alleen om pagina’s te vinden. Ze helpen Google ook te begrijpen welke pagina’s het belangrijkst zijn op je website. Je kunt interne links zien als signalen van belang. Wanneer je meerdere keren naar een pagina linkt, geef je eigenlijk aan dat deze pagina extra aandacht verdient.
Stel je bijvoorbeeld een website voor die koffiemachines verkoopt. Als blogartikelen, categoriepagina’s en andere content regelmatig linken naar een pagina met de titel beste koffiemachines voor kantoren, dan kan Google aannemen dat dit een belangrijke pagina is.
Dat gezegd hebbende, moeten interne links altijd logisch zijn voor de gebruiker. Links toevoegen puur voor SEO zonder echte relevantie doet vaak meer kwaad dan goed. Interne links moeten mensen helpen om je website makkelijker te gebruiken en beter te begrijpen.
Crawlbudget verwijst naar het aantal pagina’s dat Googlebot binnen een bepaalde periode op je website zal crawlen. Google heeft namelijk geen onbeperkte middelen en moet bepalen hoeveel aandacht elke website krijgt.
Voor de meeste kleine tot middelgrote websites hoef je je hier geen zorgen over te maken. Als je site minder dan ongeveer 10.000 pagina’s heeft, kan Google deze meestal efficiënt crawlen.
Maar als je meer dan 10.000 pagina’s hebt, kan het de moeite waard zijn om naar crawlbudget te kijken. Dat valt echter buiten de scope van deze cursus, omdat het voor de meeste mensen niet relevant is.
Sterker nog, op dit punt begrijp je al meer over crawling en hoe Google pagina’s vindt dan de meeste mensen die in SEO werken. In de volgende video gaan we het hebben over indexatie en hoe Google bepaalt of een pagina in aanmerking komt om in de SERP’s te verschijnen.
