Bei einer groben Unterscheidung der Suchmaschinen Bots kann man zwischen Fresh Bot und Deep Bot unterscheiden.
Der Deep Bot ist für die Aktualisierung von Seiten verantwortlich, die bereits im Index von Google zu finden sind. Der Fresh Bot hingegen ist für das Crawlen von neuen und aktuellen Inhalten zuständig, sowie für das oberflächliche Erfassen neuer Inhalte bereits bestehender Seiten.