Le fichier robots.txt, placé à la racine d’une origine, indique aux robots compatibles quels chemins ils peuvent explorer. Il ne protège pas un espace privé et ne constitue pas une instruction de désindexation. Une URL bloquée peut rester connue sans que son contenu soit récupéré. Guide Google.
Lire une règle sur de vraies URL
Exemple pédagogique :
User-agent: *
Disallow: /recherche/
Allow: /recherche/aide/
Sitemap: https://example.com/sitemap.xml
/recherche/?q=seo correspond au chemin interdit. /recherche/aide/ est autorisé par la règle plus précise. /guide/recherche/ ne commence pas par /recherche/ : ne le classez pas comme bloqué sur la seule présence du mot.
Une règle s’applique au protocole, hôte et port concernés : le fichier d’un sous-domaine n’est pas celui de tous les autres.
Avant de déployer une modification
Listez quelques URL qui doivent rester accessibles et celles qui doivent être exclues. Testez les règles, vérifiez que le fichier répond correctement et contrôlez les ressources nécessaires au rendu. Bloquer les scripts ou styles peut empêcher le moteur de comprendre la page.
Robots.txt, noindex ou authentification ?
- Limiter des chemins de crawl : règles robots.txt adaptées.
- Éviter l’indexation d’un contenu accessible : directive
noindex, dans le HTML ou un X-Robots-Tag. - Protéger des informations privées : authentification et contrôle d’accès.
Pour que Google lise un noindex, il doit pouvoir récupérer la réponse qui le contient. Bloquer simultanément cette URL dans robots.txt peut empêcher la lecture de la directive.
Les facettes demandent une stratégie par type de filtre, pas une règle globale copiée d’un autre site. Après changement, vérifiez le crawl puis le statut d’indexation.