HTTP 429 : crawl ralenti ou interrompu
Comment Cuik ralentit, attend et conserve vos résultats lorsque le site refuse les requêtes.
Dans ce guide
Pourquoi le crawl ralentit
Une réponse HTTP 429 — Too Many Requests signifie que le site, son hébergeur ou une protection intermédiaire limite les requêtes. Le seuil peut dépendre de l’adresse IP, d’une session, d’un chemin ou d’une période : un débit faible ne garantit donc pas la disparition immédiate des 429. Le serveur peut préciser un délai dans l’en-tête Retry-After. Définition HTTP officielle.
Cuik espace les requêtes pour laisser le site répondre. Pendant une attente, la progression peut rester immobile sans que le moteur ait planté. Plusieurs crawls simultanés du même site peuvent aussi entretenir la limitation : évitez de multiplier les essais en parallèle.
Ce que Cuik fait automatiquement
Le débit diminue progressivement, sans réaccélération automatique. Pour chaque origine du site audité :
| Palier atteint après des 429 | Pause, une seule fois pendant le crawl |
|---|---|
| 2 requêtes/s | 1 minute |
| 1 requête/s | 5 minutes |
| Avant de passer à 0,5 requête/s | 10 minutes |
Le moteur divise progressivement le débit par deux sans sauter ces paliers. Un réglage déjà plus lent est conservé et les paliers plus rapides sont ignorés. La reprise conserve les pauses déjà consommées et le débit réduit.
Retry-After est indépendant : secondes ou date HTTP, avec un maximum de 60 secondes. Une pause et un Retry-After simultanés ne s’additionnent pas : l’échéance la plus tardive s’applique aux prochaines requêtes de cette origine.
Les réponses 429 et 5xx sont conservées sans réessayer automatiquement la même URL. Les erreurs réseau sans réponse HTTP gardent un nombre limité de réessais. Les liens externes sont contrôlés séparément : ils ne déclenchent pas les longues pauses du site audité. Une attente serveur dépassant leur budget de 30 secondes peut produire une « Vérification externe différée », sans faux code HTTP.
Que se passe-t-il si les refus continuent ?
Après les pauses, Cuik continue de traiter la file à 0,5 requête/s, ou au débit plus lent choisi manuellement. Les 429 ne provoquent plus d’arrêt global, de sonde supplémentaire ni de basculement automatique vers un proxy. Retry-After reste applicable dans la limite d’une minute par réponse.
À la fin, un avertissement « Analyse partielle » indique les 429 et les erreurs serveur rencontrés. Leurs URL restent consultables par code de réponse. Leur contenu et les liens uniquement présents sur ces pages n’ont pas pu être analysés. Terminer la file ne garantit donc pas un audit complet du site. Les limites de durée, de volume et l’arrêt manuel restent applicables.
Comprendre le débit affiché
Le débit mesuré correspond au rythme observé. Le plafond réseau est une limite, pas une promesse de vitesse constante : les temps de réponse, les nouvelles tentatives et les pauses peuvent faire baisser le débit réel jusqu’à zéro.
À 0,1 URL/s, le plafond représente environ une requête toutes les dix secondes. Les redirections et les nouvelles tentatives peuvent consommer des requêtes sans produire autant de nouvelles pages analysées. Ce chiffre ne permet donc pas, seul, de garantir une heure de fin. En pause, aucune progression n’est attendue.
Que faire si les 429 continuent ?
- Attendez la fin du délai demandé. Évitez les reprises répétées et les crawls concurrents sur le même site.
- Faites examiner les journaux du site et du pare-feu à l’heure du crawl : règle déclenchée, IP concernée, limites par chemin ou par période. Demandez une autorisation ciblée pour l’audit, sans désactiver globalement les protections. Le guide de dépannage du crawl précise quelle sortie réseau vérifier.
- Reprenez à débit réduit sur un petit périmètre une fois la cause traitée, puis vérifiez les réponses avant d’élargir.
- Envisagez le proxy résidentiel si l’option est disponible et que le diagnostic pointe vers un filtrage de l’IP serveur. Il ne garantit pas l’accès et ne corrige pas toutes les limites. Il doit être choisi explicitement : le moteur ne change pas de proxy pendant le crawl.
- Contactez le support avec l’identifiant du crawl, le domaine, l’heure des refus et les options utilisées. Cela permet de vérifier le journal et la possibilité de reprendre les résultats existants.
Ne pas confondre 429 et robots.txt
« Bloquée par robots.txt » indique que Cuik n’a pas demandé la page parce qu’une règle d’exploration l’interdit. Il n’existe alors aucun code HTTP de cette page : une cellule vide ou un code technique 0 n’est ni un 429 ni une panne réseau. Réduire la vitesse ou changer de proxy ne lève pas cette règle.
Un 429 signifie au contraire qu’une requête a reçu une réponse de limitation. Gardez ces deux diagnostics séparés avant de choisir la suite à donner.