Définition
Scooter était le nom du robot d’exploration (crawler) utilisé par le moteur de recherche AltaVista pour parcourir et indexer le web. Actif principalement de 1995 à 2003, il était l’un des crawlers les plus importants et les plus rapides de son époque.
Historique
Origine
Développé par Digital Equipment Corporation (DEC) avec AltaVista en 1995.
Période d’activité
Scooter a été le crawler principal d’AltaVista pendant son apogée (1996-2001).
Fin
Avec le déclin d’AltaVista et son rachat par Yahoo en 2003, Scooter a cessé ses activités.
Caractéristiques
Rapidité
Scooter était réputé pour sa vitesse de crawl, indexant des millions de pages.
User-Agent
Scooter/3.3 (compatible; MSIE 4.0; Windows 95)
Comportement
- Suivait les liens
- Respectait robots.txt
- Indexait le contenu texte complet
Innovation technique
Full-text indexing
Scooter permettait à AltaVista d’offrir une recherche plein texte à grande échelle.
Rapidité d’indexation
Pour l’époque, la vitesse de crawl était remarquable.
Échelle
Capacité à indexer une grande partie du web visible.
Impact sur le SEO de l’époque
Techniques SEO primitives
- Keyword stuffing (bourrage de mots-clés)
- Meta keywords (très importants)
- Balises ALT remplies de mots-clés
- Texte caché
Facilité de manipulation
L’algorithme était plus simple à tromper que les moteurs modernes.
Pourquoi connaître Scooter
Histoire du SEO
Comprendre l’évolution des crawlers et algorithmes.
Perspective
Voir comment le SEO a évolué en 25+ ans.
Identification dans les logs
Des références historiques peuvent apparaître dans d’anciens documents.
Évolution des crawlers
De Scooter à aujourd’hui
| Époque | Crawler | Caractéristiques |
|---|---|---|
| 1995-2003 | Scooter | Basique, rapidité |
| 1998-présent | Googlebot | Sophistiqué, ML |
| 2000s-présent | Bingbot | Microsoft |
Leçons apprises
Les crawlers modernes sont beaucoup plus sophistiqués dans la détection de manipulation.
Crawlers historiques disparus
Contemporains de Scooter
- Lycos Spider
- Infoseek Sidewinder
- WebCrawler
- Inktomi Slurp
Survivants
Seuls quelques crawlers majeurs subsistent (Googlebot, Bingbot).
Conclusion
Scooter représente une ère fondatrice du SEO et de l’indexation web. Bien que disparu depuis plus de 20 ans, son histoire illustre l’évolution spectaculaire des technologies de recherche. Les techniques qui fonctionnaient avec Scooter sont aujourd’hui obsolètes ou pénalisées, montrant l’importance de s’adapter constamment aux évolutions des moteurs de recherche.