Früher war der Spider der Suchmaschine Inktomi unter dem Namen Slurp bekannt. Im Jahr 2003 kaufte Yahoo! allerdings Inktomi auf und so wurde der Spider der Suchmaschine Yahoo! Anfang 2004 auf Yahoo Slurp umgetauft.
Es wird vermutet, dass Yahoo Slurp die Grundlage der Suchmaschine Yahoo! darstellt. Wie es für Spider so üblich ist, ist auch die Aufgabe von Yahoo Slurp das Internet kontinuierlich nach neuen bzw. veränderten Inhalten abzusuchen. Im Gegensatz zum Googlebot ist Yahoo Slurp für seine regelmäßigen Crawlingintervalle bekannt.
Dokumente, die der Yahoo Slurp (neu) entdeckt, werden relativ zeitnah in den Index der Suchmaschine aufgenommen. Es ist also entsprechend wichtig, die Inhalte des Internet Auftritts auslesbar zu machen, da sonst keine Indizierung und in weiterer Folge auch keine Listung in den Suchergebnissen zustande kommen kann.