Définition du Crawl Budget
Le crawl budget (ou budget de crawl) représente le nombre de pages que Googlebot est prêt à explorer sur votre site web pendant une période donnée. C’est une ressource limitée que Google alloue à chaque site.
Les deux composants du Crawl Budget
1. Crawl Rate Limit
La limite de fréquence d’exploration détermine le nombre maximal de connexions parallèles que Googlebot peut utiliser pour explorer le site, ainsi que le délai entre les téléchargements.
2. Crawl Demand
La demande d’exploration représente l’intérêt de Google pour vos pages. Les pages populaires et fréquemment mises à jour sont explorées plus souvent.
Facteurs influençant le Crawl Budget
- Taille du site : Plus votre site est grand, plus le budget est important
- Vitesse du serveur : Un serveur rapide permet plus d’exploration
- Qualité du contenu : Le contenu de haute qualité est exploré plus fréquemment
- Fraîcheur du contenu : Les mises à jour régulières augmentent la fréquence de crawl
Comment optimiser son Crawl Budget
- Améliorer la vitesse du serveur
- Optimiser le maillage interne
- Éviter le contenu dupliqué
- Utiliser le robots.txt intelligemment
- Gérer les redirections
- Corriger les erreurs 404