Définition
Le journal d’accès (access log ou server log) est un fichier généré par le serveur web qui enregistre toutes les requêtes HTTP reçues. Il contient des informations détaillées sur chaque visite, incluant les passages des robots des moteurs de recherche.
Informations enregistrées
Données typiques
IP - user - [date] "méthode URL protocole" code taille "referrer" "user-agent"
Exemple
66.249.66.1 - - [26/Nov/2024:10:15:30 +0000] "GET /page.html HTTP/1.1" 200 15234 "-" "Googlebot/2.1"
Champs
- IP : Adresse de l’appelant
- Date/heure : Moment de la requête
- Méthode : GET, POST, etc.
- URL : Page demandée
- Code HTTP : 200, 404, 500, etc.
- Taille : Poids de la réponse
- Referrer : Page d’origine
- User-Agent : Identité du client (navigateur ou bot)
Utilité pour le SEO
Analyse du crawl
Voir exactement ce que Googlebot crawle sur votre site.
Fréquence de crawl
Mesurer à quelle fréquence Google visite vos pages.
Découverte de problèmes
Identifier les erreurs 4xx et 5xx rencontrées par les bots.
Pages ignorées
Repérer les pages importantes non crawlées.
Budget de crawl
Analyser comment Googlebot utilise son budget.
Analyse des logs SEO
Identification des bots
Filtrer par User-Agent pour isoler Googlebot, Bingbot, etc.
Vérification
Confirmer les vrais Googlebots via reverse DNS.
Métriques clés
- Pages crawlées par jour
- Fréquence par page
- Codes de réponse
- Pages actives vs inactives
Outils d’analyse de logs
Spécialisés SEO
- Screaming Frog Log Analyzer
- OnCrawl
- Botify
- JetOctopus
Génériques
- AWStats
- GoAccess
- Splunk
- ELK Stack
Localisation des logs
Apache
/var/log/apache2/access.log
Nginx
/var/log/nginx/access.log
Hébergement mutualisé
Souvent dans le panel d’administration ou sur demande.
Bonnes pratiques
Conservation
Gardez plusieurs mois de logs pour les analyses de tendance.
Rotation
Configurez la rotation automatique pour éviter les fichiers trop gros.
Sécurité
Les logs contiennent des IP, traitez-les conformément au RGPD.
Analyse régulière
Examinez les logs périodiquement, pas seulement en cas de problème.
Cas d’usage concrets
Diagnostic de désindexation
Vérifier si Googlebot visite encore les pages.
Optimisation du crawl
Identifier les pages gaspillant le budget crawl.
Débogage technique
Comprendre les erreurs rencontrées par les bots.
Migration
Suivre le crawl du nouveau site après migration.
Conclusion
Les journaux d’accès sont une mine d’or pour le SEO technique. Ils révèlent exactement comment les moteurs de recherche interagissent avec votre site, permettant d’identifier et résoudre les problèmes de crawl. Une analyse régulière des logs complète efficacement les données de Google Search Console.