Définition du Crawl Budget
Le crawl budget (ou budget de crawl) représente le nombre de pages que Googlebot est prêt à explorer sur votre site web pendant une période donnée. C’est une ressource limitée que Google alloue à chaque site.
Les deux composants du Crawl Budget
1. Crawl Rate Limit
La limite de fréquence d’exploration détermine le nombre maximal de connexions parallèles que Googlebot peut utiliser pour explorer le site, ainsi que le délai entre les téléchargements.
2. Crawl Demand
La demande d’exploration représente l’intérêt de Google pour vos pages. Les pages populaires et fréquemment mises à jour sont explorées plus souvent.
Facteurs influençant le Crawl Budget
- Taille du site : Plus votre site est grand, plus le budget est important
- Vitesse du serveur : Un serveur rapide permet plus d’exploration
- Qualité du contenu : Le contenu de haute qualité est exploré plus fréquemment
- Fraîcheur du contenu : Les mises à jour régulières augmentent la fréquence de crawl
Comment optimiser son Crawl Budget
- Améliorer la vitesse du serveur
- Optimiser le maillage interne
- Éviter le contenu dupliqué
- Utiliser le robots.txt intelligemment
- Gérer les redirections
- Corriger les erreurs 404
Spider trap : repérer les chemins d’exploration sans fin
Un spider trap est une structure qui génère une quantité excessive ou potentiellement infinie d’URL : calendrier sans limite, filtres combinables, paramètres de session ou chemins répétés.
Dans un crawl et les logs, regroupez les URL par motif. Comparez le nombre de variantes découvertes au nombre de contenus réellement différents. Une progression continue de chemins toujours plus longs est un signal à examiner.
Corrigez la génération des liens et limitez les combinaisons sans utilité. Une canonical ou un noindex ne supprime pas, à lui seul, les liens qui alimentent le piège. Après correction, vérifiez que le robot atteint toujours les pages importantes sans parcourir ces variantes.