Der Googlebot ist der Webcrawler von Google. Er durchsucht das Internet 24/7 an 365 Tagen im Jahr und ist das fleißige Bienchen hinter der Google Suchmaschine.
Was macht der Googlebot eigentlich?
Der Googlebot crawlt permanent das Internet. Er führt dem Suchmaschinen-Index neue Seiten zu und bietet so die Grundlage für die Auslieferung relevanter Suchergebnisse.
Wie geht der Googlebot vor?
Der Googlebot besucht manche Seiten häufiger als andere. Das hängt davon ab, wie stark und wie hochwertig die zu besuchende Seite von anderen Seiten verlinkt wird. Bei seinem Besuch schaut er zunächst in die robots.txt-Datei. Diese enthält Zugriffsinformationen für den Crawler. Webmaster können darüber bestimmte Bereiche für Crawler ausschließen. Anschließend beginnt der eigentliche Crawl-Prozess.