Unter Crawler müssen spezielle Programme verstanden werden, die in Bezug auf die einzelnen Tätigkeiten im Internet zum Einsatz kommen. Nicht selten werden diese auch als Roboter oder Bot von Insidern bezeichnet.
Dieses Programm durchsucht das Internet auf selbstständige Art und Weise umfangreich nach den einzelnen Informationen und von den Betreibern gewünschten Daten. In der Suchmaschinenoptimierung spricht man in Bezug auf diese Programme auch von einem Spider. Bei den Arbeiten der Suchmaschinenoptimierung werden die Crawler eingesetzt, um eine nahezu perfekte Generierung des jeweiligen Suchmaschinen – Index vorzunehmen. Eingesetzt werden sie sowohl von dem Seitenbetreiber als auch von den Betreibern der nationalen und internationalen Suchmaschinen.
Aber auch für die schnelle und vor allem unkomplizierte Erstellung von Content (Content Marketing) kommen sie zur Anwendung. Bei dem Crawler oder auch Spider muss zwischen einer Lösung für Internetseiten und E-Mails unterschieden werden. Die E-Mail Crawler können einzelnen E-Mail – Adressen, zum Beispiel von potenziellen Kunden, suchen. Die einzelnen Ergebnisse werden selbstständig von dem Programm in eine entsprechende Datenbank eingefügt. Eingesetzt werden die gewonnen Daten in vielerlei Hinsicht. Zum einen handelt es sich hierbei um die verschiedensten Zwecke des Marketings. Aber auch in Bezug auf Spam kommt es zur Anwendung der Daten, die die Crawler gefunden haben. Eingesetzt werden sie sowohl in Bezug auf Neukundengewinnung als auch im Bereich der Datenerfassung.