Unter der Crawling Rate versteht man das Intervall, in dem eine Webseite von den Spidern / Crawlern der Suchmaschine ausgelesen (gecrawlt) wird.
Während der Yahoo! Slurp dafür bekannt ist in ziemlich regelmäßigen Abständen eine Webseite neu auszulesen, ist die Crawling Rate beim GoogleBot eher unregelmäßig.
Es wird vermutet, dass sich die Crawling Rate vor allem bei Google am Trust – also der Vertrauenswürdigkeit der Webseite – orientiert. Darüber hinaus scheint auch die Häufigkeit, mit der neue Inhalte auf eine Webseite gebracht werden, eine entscheidende Rolle zu spielen.