X-Robots-Tag est un en-tête HTTP qui porte des directives destinées aux robots. Il est particulièrement utile pour un PDF ou une image, où l’on ne peut pas ajouter une balise meta robots dans une page HTML. Spécification Google.
Exemple : un PDF public à ne pas indexer
Réponse illustrative :
HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindex
Le PDF reste consultable pour les personnes qui ont le lien. La directive concerne son indexation : elle ne rend pas le document privé.
Vérifiez les en-têtes d’une requête GET, pas seulement l’apparence du fichier dans le navigateur :
curl -sS -D - -o /dev/null https://example.com/document.pdf
curl -I permet aussi d’inspecter une réponse HEAD, mais certaines configurations ne répondent pas exactement de la même façon. Pour un diagnostic, confrontez les deux si nécessaire.
Les pièges à contrôler
Une règle du serveur peut ajouter l’en-tête à tous les fichiers, y compris des pages que vous souhaitez indexer. Testez donc une ressource concernée et une autre qui doit rester éligible.
Vérifiez aussi que l’URL n’est pas bloquée par robots.txt : le robot doit pouvoir récupérer l’en-tête. Si plusieurs directives sont envoyées par le serveur et le CDN, inspectez la réponse complète.
Après publication
Documentez le chemin, la directive attendue et le résultat du test. Utilisez ensuite l’inspection d’URL pour suivre la prise en compte ; un test HTTP local ne prouve pas que Google a déjà retraité le document.
Pour une page HTML, une meta robots peut suffire. Le choix dépend du type de ressource et de l’endroit où vous pouvez gérer la configuration, pas d’un avantage SEO automatique. Retrouvez la méthode complète de diagnostic d’indexation.