La notion de “Crawl Budget” en SEO : Explications

Bonjour à tous,

Lorsqu’on fait du SEO, on peut aller de l’aspect marketing facile à assimiler à des choses très techniques, et aujourd’hui, on fait place à la notion de « Crawl Budget » qui est une stratégie technique qui permet de gérer le crawl du site pour que les moteurs voient et indexent surtout les pages les plus intéressantes du site. En effectuant ma veille informationnelle, je me suis dit qu’il était intéressant de rassembler tout ce que j’ai lu dans cet article pour expliquer cette notion au grand public 🙂

Définition de “Crawl Budget”
Le crawl budget est : le temps attribué par Google pour l’exploration quotidienne de votre site web.
Concrètement cela correspond au nombre de pages de votre site web que les moteurs de recherche explorent chaque jour.
Comme la dimension du web est énorme, les moteurs de recherche doivent diviser leurs efforts parmi tous les sites et établir les priorités pour leur exploration. Le Crawl budget est un terme international, commun dans le SEO.
En anglais, on peut également parfois lire « crawl space » ou « crawl time » qui désignent le « crawl budget ».
Pourquoi faut-il s’occuper de crawl budget ?
Il faut que les moteurs de recherche trouvent le plus de pages possible à indexer dans votre site, et qu’ils le fassent le plus vite possible.
Néanmoins, en gaspillant du temps de crawl sur des pages erreurs, des pages inutiles, etc., ils ne pourront pas atteindre ce but.
En d’autres termes, une partie de votre site web pourrait rester inexplorée ou ne sera pas assez visitée si son Crawl Budget est mal géré.
Quel est le crawl budget pour mon site web ?
La meilleure source en ce qui concerne les informations sur le crawl budget de votre site est Google. Si vous validez la propriété de votre site web dans la Google Search Console, vous pouvez obtenir un aperçu de votre crawl budget (seulement pour Googlebot, pas pour les autres moteurs de recherche).
Dans Google Search Console, choisissez votre site web et allez à Exploration > Statistiques sur l’exploration (Crawl > Crawl stats en VO).
Vous verrez un graphe avec le nombre de pages explorées chaque jour par Google :
Dans cet exemple nous voyons que le crawl budget moyen est 27 pages par jour. Théoriquement, si cette donnée ne change pas, le crawl budget par mois sera de 27 pages x 30 jours = 810 pages.
Chaque fois que vous empêchez l’accès de Googlebot à des pages inutiles, c’est du crawl en plus (et potentiellement des positions en plus) pour les vraies pages destinées à être positionnées.

Des questions sur le SEO Google le SEO Baidu ? Envoyez moi un petit mail pour en parler : autoveille@gmail.com

Bon courage à tous,

Véronique Duong – Consultante SEO certifiée CESEO