Définition
Le User Agent (ou agent utilisateur) est une chaîne de caractères transmise dans l’en-tête HTTP de chaque requête web. Elle identifie le logiciel client qui accède à une page : navigateur, robot d’indexation, application mobile, ou tout autre programme. En SEO, comprendre les User Agents permet d’analyser comment les moteurs de recherche explorent votre site.
Structure d’un User Agent
Un User Agent typique contient plusieurs informations :
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
| Élément | Signification |
|---|---|
Mozilla/5.0 | Compatibilité historique (présent dans presque tous les UA) |
Windows NT 10.0; Win64; x64 | Système d’exploitation et architecture |
AppleWebKit/537.36 | Moteur de rendu utilisé |
Chrome/120.0.0.0 | Navigateur et version |
Safari/537.36 | Compatibilité supplémentaire |
User Agents des principaux moteurs de recherche
Googlebot
Google utilise plusieurs User Agents selon le type de crawl :
| User Agent | Utilisation |
|---|---|
| Googlebot Desktop | Crawl principal pour l’indexation desktop |
| Googlebot Smartphone | Crawl mobile (utilisé pour l’index mobile-first) |
| Googlebot-Image | Indexation des images |
| Googlebot-Video | Indexation des vidéos |
| Googlebot-News | Crawl Google Actualités |
| AdsBot-Google | Vérification des landing pages Google Ads |
Exemple Googlebot Smartphone :
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Autres moteurs de recherche
| Moteur | User Agent | Particularité |
|---|---|---|
| Bing | bingbot/2.0 | Deuxième moteur mondial |
| Yandex | YandexBot/3.0 | Dominant en Russie |
| Baidu | Baiduspider/2.0 | Dominant en Chine |
| DuckDuckGo | DuckDuckBot/1.1 | Moteur orienté vie privée |
Importance du User Agent en SEO
1. Identification du crawl
En analysant les logs serveur, vous pouvez identifier :
- La fréquence de passage de Googlebot
- Les pages les plus crawlées
- Les erreurs rencontrées par les robots
- Le ratio crawl mobile vs desktop
2. Détection du cloaking
Google compare ce qu’il voit (via Googlebot) avec ce que voient les utilisateurs. Si le contenu diffère selon le User Agent, c’est du cloaking, une pratique pénalisée.
3. Mobile-First Indexing
Depuis 2019, Google utilise principalement Googlebot Smartphone pour l’indexation. Votre site doit donc être parfaitement fonctionnel pour ce User Agent.
Configurer l’accès par User Agent
Dans le robots.txt
Vous pouvez donner des directives spécifiques par User Agent :
# Règles pour tous les robots
User-agent: *
Disallow: /admin/
# Règles spécifiques pour Googlebot
User-agent: Googlebot
Allow: /
# Bloquer un robot spécifique
User-agent: BadBot
Disallow: /
Sur le serveur (exemple Apache)
# Bloquer un User Agent malveillant
RewriteCond %{HTTP_USER_AGENT} ^BadBot [NC]
RewriteRule .* - [F,L]
Problèmes courants liés aux User Agents
Blocage accidentel de Googlebot
Symptômes :
- Pages non indexées
- Chute de trafic organique
- Erreurs dans Search Console
Vérifications :
- Tester le robots.txt avec l’outil Search Console
- Vérifier les règles de pare-feu
- Contrôler les configurations .htaccess
Faux User Agents
Certains robots malveillants se font passer pour Googlebot. Pour vérifier l’authenticité :
- Faire une recherche DNS inverse sur l’IP du visiteur
- Vérifier que le domaine se termine par
.google.comou.googlebot.com - Confirmer avec une recherche DNS directe
Outils d’analyse des User Agents
| Outil | Utilité |
|---|---|
| Google Search Console | Voir les erreurs de crawl Googlebot |
| Screaming Frog | Simuler différents User Agents |
| Log analyzers (GoAccess, AWStats) | Analyser le trafic bot |
| whatismybrowser.com | Identifier un User Agent |
Bonnes pratiques
- Ne bloquez jamais Googlebot sans raison valable
- Servez le même contenu à tous les User Agents (évitez le cloaking)
- Analysez régulièrement vos logs pour détecter les comportements anormaux
- Testez votre site avec différents User Agents (mobile, desktop)
- Surveillez le crawl budget en analysant la fréquence de passage des bots
User Agent et rendu JavaScript
Googlebot utilise un navigateur Chrome headless pour le rendu JavaScript. Si votre site repose sur JavaScript :
- Assurez-vous que le contenu se charge pour Googlebot
- Utilisez le test d’URL en direct dans Search Console
- Vérifiez le rendu avec “Afficher la page explorée”
Le User Agent reste un élément fondamental du fonctionnement du web. En SEO, bien comprendre les User Agents des moteurs de recherche permet d’optimiser le crawl et de diagnostiquer les problèmes d’indexation.