archive

Vidéo YouTube

Bonjour à tous !

Dans cet article, j’avais envie de partager avec vous une petite vidéo YouTube que j’ai tournée pour répondre à une question qui revenait souvent de la part de mes prospects et de mes clients : « A quoi sert le robots.txt dans un site web ? Pourquoi faut-il l’optimiser ?« 

Le robots.txt est le premier fichier qu’un moteur de recherche ou qu’un crawler va aller visiter afin de voir quelles parties du site, il a le droit de visiter ou de ne pas visiter.

Il est donc important de bloquer les URLs non pertinentes à remonter dans les résultats de recherche de Google dans le robots.txt afin de ne pas faire perdre de temps en termes de ressources à Googlebot et autres crawlers lorsqu’il passe sur le site.

Voici ma petite vidéo explicative ci-dessous (Abonnez vous à ma chaîne et faisons grandir la communauté ensemble !!) :


Afin d’optimiser au mieux un robots.txt, il faut se dire pour certaines pages si elles sont stratégiques pour la visibilité du site ou non. Si elles ne sont pas du tout stratégiques, il est peut être préférable de les bloquer dans le robots.txt.

Si vous avez des questions sur le référencement naturel (SEO), n’hésitez pas à me contacter par Linkedin ou par mail !

Bon courage à tous !

Véronique DUONG-NGUYEN, Experte SEO International et Présidente de RANKWELL

%d blogueurs aiment cette page :