Spricht man vom Googlebot, meint man einen Webcrawler der Suchmaschine Google. Dieser ist dafür zuständig, die Inhalte, die auf einer Webseite geboten werden, auszulesen. Dabei arbeitet er sich vor, indem er den Links, die sich auf einer Seite befinden, folgt.
Stößt der Googlebot auf eine neue Seite, wird diese im Index von Google abgespeichert. Findet er hingegen Neuerungen auf einer bereits bestehenden Seite, werden die Daten, die sich bereits im Index befinden, mit den Neuerungen abgeglichen.
Wie oft der Googlebot auf einer Seite vorbeischaut, hängt von vielen Faktoren ab. Die drei wichtigsten Faktoren sind:
- die Häufigkeit mit der neu Inhalte auf die Seite gestellt werden,
- der PageRank
- und der Trust, den eine Seite genießt.
Das kann dann dazu führen, dass beispielsweise große Newsseiten im Minutentakt neu ausgelesen werden, um den Google User stets mit frischen und aktuellen Informationen versorgen zu können.
Der Googlebot bzw. die Googlebots, denn es ist nicht nur einer, der das Internet durchforstet, werden ständig verbessert und upgedatet. Zum Einen, damit die Resultate für die User noch relevanter und besser werden und zum Anderen, damit immer neue Manipulationen vermieden bzw. eingegrenzt werden können.
Es gibt nämlich eine Vielzahl an Techniken, mit denen man den Suchmaschinen ein anderes Bild der Seite zeigen kann, als der User im Browser sieht. Diese Techniken werden unter dem Begriff Spam zusammengefasst. Das Ganze ist ein Spießrutenlauf, in dem Spammer immer auf neue Wege kommen, Google an der Nase herumzuführen, was Google wiederum mit einem neuen Update zu unterbinden versucht.