Optimisation du crawl, qu’est-ce que c’est ?

L’optimisation du crawl est un terme du domaine du référencement organique (ou référencement naturel) qui désigne un ensemble de techniques SEO visant à faciliter le travail d’exploration et d’indexation des robots crawlers des moteurs de recherche sur un site web, c’est à dire les robots qui s’occupent de naviguer sur le web pour documenter les pages et les référencer sur les moteurs de recherche.

Etant donné que Google représente à lui seul 90% des recherches effectuées sur le web dans les pays occidentaux, comme pour la plupart des stratégies SEO, le travail d’optimisation du crawl concerne essentiellement Google Bot.

En quoi consiste l’optimisation du crawl Google ?

Comme nous l’avons dis plus haut, l’optimisation du crawl vise à faciliter la tâche des robots d’indexation. Ce travail passe donc par diverses techniques permettant de faciliter l’accès aux données de votre site web par ces robots et également leur indiquer certaines informations dont ils ont besoin. 

Le travail d’optimisation du crawl passe également par l’optimisation du budget de crawl dont nous parlerons plus bas.

Création d’un sitemap

La création d’un sitemap (plan de site) est la première partie de l’optimisation du crawl. Le plan de site est un fichier XML auquel accèdent les robots d’indexation qui n’est rien de plus qu’une liste des pages du site. Il est possible d’avoir plusieurs sitemaps pour un seul site pour faire la liste des catégories, des pages produit, des étiquettes des articles etc…

Pour bien informer google de l’existance de ces sitemaps.xml il est essentiel d’utiliser la Google Search Console, qui en plus est très utile pour suivre et surveiller de nombreux aspects du référencement de votre site, et de lui déclarer dans la section dédiée les url des différents sitemaps.

Certains plugins WordPress comme l’extention Yoast SEO permettent de générer et d’actualiser efficacement les sitemaps en temps réel.

La création de redirections

Il faut savoir que Google n’aime pas du tout que les URLs d’une page changent et que par conséquent un résultat de recherche renvoie vers une erreur 404…

Si vous gérez un blog par exemple et que vous changez le slug d’un article, il est très important de créer une redirection depuis l’ancienne URL vers la nouvelle pour que les résultats de recherche continuent de renvoyer vers la page le temps que Google mette à jour l’url de son côté.

Ici aussi certains plugins wordpress font le travail à notre place comme le plugin “redirections” qui scanne le site, crée des redirections automatiquement lorsqu’un lien est modifié et crée un journal des erreurs 404 entre autre.

L’optimisation des URL ou “URL rewriting”

L’optimisation des URLs ou URL Rewriting est le fait de préférer utiliser des URLs optimisées pour le référencement organique c’est à dire des URL qui contiennent à minima la requête cible et qui font sens par rapport au contenu de la page. 

Par exemple on préfèrera utiliser l’url : “https://marketingpedia.fr/articles-marketing/optimisation-du-crawl-google-seo” à l’url  “https://marketingpedia.fr/?p=1172” 

Eviter les erreurs 404

Eviter les erreurs 404 est important pour Google. N’oubliez pas, le but premier du moteur de recherche est de proposer les contenus les plus pertinents pour les recherches des utilisateurs. Google veut donc à tout prix éviter de renvoyer vers une page qui n’existe pas ou plus. 

Il est donc primordial d’éviter ces erreurs en créant des redirections comme vu plus haut mais également en redirigeant les erreurs 404 vers la page d’acceuil par exemple.

Définir des URLs canoniques

Google n’apprécie pas les contenus dupliqués. Si votre site, pour x ou y raisons comprend plusieurs pages avec des contenus identique il est fortement recommandé de lui désigner quel est la page contenant le contenu original à l’aide de la balise et de l’attribut : link rel=”canonical”.

Optimiser le fichier robots.txt

Le fichier robots.txt permet de donner des instructions aux robots d’indexation. Il permet entre autres de désactiver l’indexation d’une page, de ne pas indexer les images etc… 

Le maillage interne

Le maillage interne, en plus de faciliter la navigation de vos utilisateur au sein de votre site et ainsi d’améliorer l’expérience utilisateur (UX) importante pour le référencement naturel, permet de faciliter la navigation du robot crawler dans vos contenus de page en page.

Comment analyser le crawl ?

Il est recommandé de régulièrement analyser le crawl afin de vérifier que Google parvient à accéder et à indexer les contenus et pages de votre site.

Ce travail peut être fait depuis la Google Search Console ou depuis certains outils de traitement des logs au niveau du serveur.