Définition
La crawlability (ou explorabilité) désigne la facilité avec laquelle les robots des moteurs de recherche peuvent accéder, parcourir et comprendre l’ensemble des pages d’un site web. Une bonne crawlability est fondamentale pour garantir l’indexation correcte du contenu.
Facteurs clés de crawlability
1. Architecture du site
Site optimal (profondeur max 3 clics)
├── Accueil
│ ├── Catégorie A
│ │ └── Produits A
│ ├── Catégorie B
│ │ └── Produits B
│ └── Blog
│ └── Articles
2. Fichier robots.txt
# Exemple robots.txt optimisé
User-agent: *
Crawl-delay: 1
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sort=
Allow: /
# Sitemap
Sitemap: https://site.com/sitemap.xml
3. Maillage interne
- Liens HTML standards (
<a href>) - Navigation accessible
- Fil d’Ariane
- Footer avec liens principaux
Obstacles à la crawlability
Problèmes techniques
// ❌ Mauvais : Navigation en JavaScript
document.getElementById('menu').innerHTML = menuItems;
// ❌ Mauvais : Liens en onclick
<div onclick="window.location='/page'">Cliquez ici</div>
// ✅ Bon : Liens HTML standards
<a href="/page">Cliquez ici</a>
Blocages courants
- Infinite scroll sans pagination
- AJAX pour le contenu principal
- Flash ou technologies obsolètes
- Chaînes de redirections longues
Optimisation de la crawlability
Sitemap XML
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://site.com/page-importante</loc>
<lastmod>2024-01-20</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
Structure d’URLs
✅ Bonnes URLs :
/chaussures/running/nike-air-max
/blog/seo/ameliorer-crawlability
❌ Mauvaises URLs :
/index.php?id=123&cat=45&prod=789
/page?session=abc123def456
Outils de test
- Google Search Console : Inspection d’URL
- Screaming Frog : Simulation de crawl
- Chrome DevTools : Désactiver JavaScript
- Robots.txt Tester : Vérification des blocages
Métriques de crawlability
- Pages crawlées/jour : Volume d’exploration
- Temps de réponse : Vitesse serveur
- Taux d’erreurs : 4xx, 5xx
- Profondeur moyenne : Clics depuis l’accueil
Une excellente crawlability garantit que tout votre contenu de valeur peut être découvert et indexé par les moteurs de recherche.