Définition
Slurp était le nom du robot d’exploration (crawler) utilisé par Yahoo Search pour parcourir et indexer le web. Il fonctionnait de manière similaire à Googlebot, découvrant des pages via les liens et les sitemaps pour alimenter l’index de recherche de Yahoo.
Historique
Origines
Slurp a été développé par Inktomi, une entreprise acquise par Yahoo en 2003.
Période d’activité
Actif principalement de 2003 à 2010, période où Yahoo opérait son propre moteur de recherche.
Fin de Slurp
En 2010, Yahoo a conclu un partenariat avec Microsoft pour utiliser Bing comme moteur de recherche, rendant Slurp obsolète.
Caractéristiques techniques
User-Agent
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Comportement
- Suivait les directives robots.txt
- Respectait les meta robots
- Crawlait de manière similaire aux autres bots majeurs
Slurp aujourd’hui
Obsolète
Slurp n’est plus actif depuis que Yahoo utilise les résultats de Bing.
Dans les logs
Si vous voyez encore “Slurp” dans vos logs, il s’agit probablement de :
- Faux bots usurpant l’identité
- Anciens scripts non mis à jour
Bots Yahoo actuels
Yahoo utilise encore des crawlers pour d’autres services (Yahoo Finance, actualités), mais pas pour la recherche web principale.
Pourquoi connaître Slurp
Culture SEO
Comprendre l’histoire des moteurs de recherche aide à comprendre l’évolution du SEO.
Analyse de logs
Savoir identifier les vrais bots des faux dans vos logs serveur.
Perspective
Yahoo était autrefois le moteur de recherche dominant, illustrant comment le marché évolue.
Robots d’exploration actuels
Après la disparition de Slurp, les principaux crawlers sont :
- Googlebot (Google)
- Bingbot (Microsoft Bing, aussi utilisé pour Yahoo)
- Yandexbot (Yandex)
- Baiduspider (Baidu)
- DuckDuckBot (DuckDuckGo)
Conclusion
Slurp représente une époque révolue où plusieurs moteurs de recherche majeurs opéraient indépendamment. Son histoire illustre la consolidation du marché de la recherche. Aujourd’hui, pour les webmasters, l’attention se porte principalement sur Googlebot et Bingbot.