Wat is een zoekmachine crawler?

Een zoekmachine crawler is de robot van zoekmachines die je website leest. Deze crawler volgt links en ontdekt zo nieuwe pagina’s en informatie, zodat jouw website opgenomen wordt in de database van de zoekmachine.

Als je de term zoekmachine crawler voor het eerst hoort, klinkt het misschien als een eng mythisch beest, maar in werkelijkheid hebben we het over de robots die het internet afspeuren naar informatie. We hebben al kort besproken wat de crawler doet, namelijk het primaire proces van de zoekmachine: het crawlen van je website.

Deze crawler volgt links en ontdekt zo nieuwe pagina’s en informatie. Als de crawler geblokkeerd wordt door bijvoorbeeld een verkeerde linkstructuur of slecht leesbare pagina’s kan de crawler de informatie op je website niet crawlen en indexeren en word je dus niet gevonden in Google. Essentieel dus om de crawler zo goed mogelijk toegang te geven tot je website!

Meer over zoekmachine marketing lees je op onze online marketing pagina.