[Vidéo YouTube] A quoi sert le robots.txt dans un site web ?
Bonjour Ă tous !
Dans cet article, j’avais envie de partager avec vous une petite vidĂ©o YouTube que j’ai tournĂ©e pour rĂ©pondre Ă une question qui revenait souvent de la part de mes prospects et de mes clients : « A quoi sert le robots.txt dans un site web ? Pourquoi faut-il l’optimiser ?«
Le robots.txt est le premier fichier qu’un moteur de recherche ou qu’un crawler va aller visiter afin de voir quelles parties du site, il a le droit de visiter ou de ne pas visiter.
Il est donc important de bloquer les URLs non pertinentes Ă remonter dans les rĂ©sultats de recherche de Google dans le robots.txt afin de ne pas faire perdre de temps en termes de ressources Ă Googlebot et autres crawlers lorsqu’il passe sur le site.
Voici ma petite vidéo explicative ci-dessous (Abonnez vous à ma chaßne et faisons grandir la communauté ensemble !!) :
Afin d’optimiser au mieux un robots.txt, il faut se dire pour certaines pages si elles sont stratĂ©giques pour la visibilitĂ© du site ou non. Si elles ne sont pas du tout stratĂ©giques, il est peut ĂȘtre prĂ©fĂ©rable de les bloquer dans le robots.txt.
Si vous avez des questions sur le rĂ©fĂ©rencement naturel (SEO), n’hĂ©sitez pas Ă me contacter par Linkedin ou par mail !
Bon courage Ă tous !
Véronique DUONG-NGUYEN, Experte SEO International et Présidente de RANKWELL
đ AUTOVEILLE par VĂ©ronique DUONG | Expert SEO international | RĂ©fĂ©rencement multilingue 