Bien configurer un crawl : le guide avancé

Vous débutez ? Suivez d’abord Lancer votre premier crawl. Pour un blocage, consultez Erreurs, IP à autoriser et user-agents.

Cuik Spider explore votre site, vérifie ses pages et ressources, puis alimente l’audit Cuik et ses rapports. Ce guide vous aide à choisir quoi explorer, à quel rythme et avec quel rendu.

Cuik Spider est en bêta. Des erreurs, interruptions ou crashs restent possibles. Commencez par un périmètre limité et vérifiez le résultat. Le moteur Classique reste disponible.

1. Choisir le moteur et ouvrir les paramètres

Depuis la liste des crawls, saisissez l’URL de départ, sélectionnez Spider · bêta, puis Paramètres. Enregistrez vos réglages avant de cliquer sur Lancer le crawl ou Recrawler.

Captures de l’interface en démonstration, sans données client. Cliquez pour agrandir.

Les préférences sont enregistrées dans votre navigateur, séparément pour chaque moteur. Le résumé « Configuration active » permet de vérifier les options choisies. Le proxy et les identifiants d’accès sont des exceptions détaillées plus bas.

Classique ou Spider ? Classique est le moteur historique. Spider ajoute le suivi du crawl en cours, la pause, la reprise et la correction de certaines règles. Les paramètres présentés ci-dessous sont ceux du lanceur Spider ; certaines options dépendent de votre formule. Si le choix Spider n’apparaît pas, la bêta n’est pas activée sur votre environnement.

2. Essentiel : vitesse, rendu et volume

Exemple : pour un premier audit de site vitrine, testez 2 URL/s et 1 000 URL. Si les textes ou liens attendus manquent parce qu’ils sont chargés par JavaScript, comparez avec un crawl où le rendu est activé.

Choisir Googlebot mobile ne transforme pas Cuik en robot Google et ne garantit pas le même comportement d’indexation. Choisir Chrome Desktop ne suffit pas non plus à activer JavaScript ou l’empreinte réseau Chrome : ce sont des réglages distincts.

3. Exploration : décider quoi suivre

Canonicales : les deux boutons se complètent. « Crawler » permet de découvrir la cible ; « Respecter » limite l’exploration depuis la page canonicalisée. Pour examiner les doublons et leurs liens, laisser « Respecter » désactivé peut être utile.

4. Avancé : éviter les espaces d’URL sans fin

Les limites de variantes et de répertoire retiennent les URL au fil de leur découverte : elles créent un audit partiel, pas un échantillon représentatif garanti.

Le périmètre de chemin reste limité à l’hôte de départ, même si les sous-domaines sont activés. Les ressources des pages retenues, comme les images ou CSS, gardent leurs propres règles. Les images ne sont pas bloquées par la limite de profondeur des pages.

5. Réseau : Shopify et accès protégés

Profil Shopify. « Appliquer le profil » sélectionne Spider, règle la cadence à 1 URL/s, active l’empreinte Chrome et désactive le rendu JavaScript. Vous pouvez ensuite modifier la vitesse. Ce profil ne garantit pas l’accès à une boutique protégée.

Empreinte navigateur Chrome. Adapte les caractéristiques réseau des requêtes HTTP. Elle est disponible sans rendu JavaScript ; quand le rendu est activé, cette option est désactivée dans le lanceur. Elle ne remplace pas une autorisation du propriétaire du site.

Connexion IP. IPv4 est le choix par défaut. Vous pouvez sélectionner Automatique (IPv4 / IPv6) ou IPv6 uniquement si le site et la connexion sont compatibles. Le choix s’applique aux pages, au rendu JavaScript et aux ressources ; il est désactivé avec un proxy résidentiel, qui choisit sa connexion au site.

Proxy résidentiel. Fait passer le crawl par la connexion résidentielle configurée par Cuik. C’est un choix ponctuel : il n’est pas mémorisé pour la prochaine visite et se désactive après un lancement réussi. Ne l’activez que si nécessaire.

Signature Shopify et Basic Auth

• Signature HTTP Shopify : laissez les trois champs vides si elle n’est pas nécessaire. Sinon, depuis Shopify, ouvrez Boutique en ligne → Préférences → Accès des robots d’exploration, créez une signature pour le domaine audité et renseignez Signature, Signature-Input et Signature-Agent. Les trois valeurs sont nécessaires ; conservez le format fourni, y compris les guillemets de "https://shopify.com". Une signature expirée doit être remplacée. Guide officiel Shopify.
• HTTP Basic Auth : renseignez l’identifiant et le mot de passe d’un site protégé par cette authentification HTTP. Ce n’est pas un formulaire de connexion WordPress ou un mot de passe de vitrine Shopify.

Ces secrets ne sont pas enregistrés dans le stockage du navigateur. Ils sont transmis au lancement pour le site autorisé ; ne les partagez pas dans une capture ou un ticket public.

Proxy en dernier recours. Sur Spider, cette option ponctuelle autorise une sonde par proxy résidentiel après des pauses de 15 puis 30 minutes dues à la limitation du site. Si la sonde réussit, le crawl reprend à débit réduit. Elle est désactivée lorsque le proxy est déjà choisi pour tout le crawl, et remise à zéro après le lancement.

6. Templates : préparer les rapports

Images à exporter agit uniquement sur les lignes du rapport Sheet, pas sur la collecte des images :

• Anomalies et points à vérifier, par défaut : erreurs HTTP, redirections, réponse non-image, poids, ALT absent ou vide, dimensions suspectes.
• Toutes les images : export plus volumineux.
• Aucune image dans le Sheet : pas de lignes image dans ce document ; les données collectées restent dans l’audit.

Le seuil de poids à vérifier est initialement de 100 Ko. Il sert à signaler des images à examiner, pas à bloquer leur téléchargement. Un ALT vide peut être volontaire pour une image décorative ; une grande image n’est pas automatiquement une erreur.

Choisissez ensuite le template Sheet et le template Slides : Cuik Dark, Cuik Light ou vos modèles personnalisés si votre formule le permet. Ces choix changent la présentation des livrables, pas le périmètre du crawl. La génération des documents peut continuer après la collecte des URL.

7. Pendant le crawl : pause et correction

Ouvrez le crawl pour suivre les URL déjà traitées et celles restant à parcourir. Le total augmente au fil des découvertes : ce n’est pas un inventaire connu d’avance.

1. Cliquez sur Pause et attendez la fin des requêtes en cours.
2. Ouvrez Rectifier les règles pour modifier le périmètre, les types de ressources, certaines limites ou les regex d’inclusion/exclusion.
3. Cliquez sur Prévisualiser l’impact. Cuik distingue les URL retirées de la file de celles déjà collectées.
4. Si souhaité, activez Nettoyer aussi les données déjà collectées : cela supprime les URL concernées et leurs relations du rapport en cours. Sinon, elles sont conservées.
5. Appliquez, puis cliquez sur Reprendre. La correction ne relance pas automatiquement le crawl.

Les regex se saisissent une par ligne dans cet éditeur, par exemple /recherche\? pour exclure des URL de recherche. Elles ne sont pas proposées dans la modale initiale. Certains changements ne concernent que les prochaines découvertes : l’aperçu le précise. Changer le moteur, le rendu ou les accès nécessite un nouveau crawl.

8. Trois configurations concrètes

Auditer uniquement la version française

Départ : https://example.com/fr/. Périmètre : /fr/. Pour un test borné : 2 URL/s, maximum 1 000 URL, cinq variantes par URL et 300 pages par répertoire. Ces limites sont des exemples, à adapter au site.

Vérifier une boutique Shopify

Appliquez le profil Shopify, commencez avec 500 URL et contrôlez quelques fiches produit. Si le serveur refuse les requêtes, vérifiez les autorisations et la signature du bon domaine avant de relancer. Ne cumulez pas tous les réglages réseau sans savoir lequel est utile.

Comprendre un écart entre navigateur et audit

Testez la même URL de départ avec les mêmes limites, une fois sans rendu JavaScript, puis avec. Comparez les textes, liens et balises réellement trouvés. Activer seulement « Crawler les fichiers JS » ne répond pas à cette question.

Si le résultat ne correspond pas à vos attentes

Pour le support, joignez le lien du crawl, l’URL concernée, le résultat attendu et les réglages utilisés, sans identifiant, mot de passe ni signature.