Bonjour à tous 🙂

Pour changer de la veille automatique et de mon logiciel de veille, je vais vous reparler d’outils SEO. Ces derniers temps, j’ai eu droit à pas mal de problématiques sur le SEO chinois, dont certaines sur BaiduSpider (le crawler de Baidu, équivalent à Googlebot) et sur le robots.txt.

Baidu Webmaster Tools (百度站长平台) propose de tester son robots.txt sans avoir à créer un compte sur l’outil. Cela est donc très pratique si vous ne voulez pas créer de compte, mais juste pour tester afin de voir si votre fichier texte ne comporte pas d’erreurs.

 

En effet, Baidu signale aussi les erreurs dans la spécification des moteurs de recherche (User-agent), et également dans les règles / chemins des Allow et Disallow.

Voici les étapes pour faire le test de votre robots.txt (cliquez sur les images pour les agrandir):

1) Allez sur la page de Baidu Webmaster Tools : http://zhanzhang.baidu.com/site/index

2) Choisissez « Robots » dans le menu à gauche :

 

3) Vous vous retrouvez alors sur l’interface de l’outil Robots de Baidu.

• Renseignez le champs encadré en orange pour analyser votre robots.txt
• Appuyez sur le bouton ci-dessous pour valider
• Patientez (le message 检测中，请稍等…… s’affiche pendant l’attente)

 

4) Voici le résultat de l’analyse de Baidu. Les mots en rouge indiquent les erreurs dans le robots.txt

 

5) Les messages d’erreurs en rouge indiquent que le robots.txt doit commencer par un slash « / ». Comme on peut le constater, les deux Disallow commencent par un « ? ». Si BaiduSpider ne prend pas en compte ces deux règles d’interdiction, cela veut dire que Baidu pourrait continuer à crawler (et indexer) ces parties du site.

6) On peut également créer un robots.txt grâce à Baidu Webmaster Tools > Robots

 

Le robots.txt généré peut bien sûr être téléchargé :

 

Personnellement, je trouve que l’outil Robots de Baidu est beaucoup plus complet, ergonomique et pratique que celui de Google :

 

Après pour pouvoir utiliser les outils de Baidu, il faut savoir lire le chinois … quoi qu’avec la traduction automatique vous pouvez très bien vous débrouiller car les termes sont courts (« valider », « créer », etc.).

Si vous souhaitez en savoir plus sur mes tests de veille automatique ou de SEO, écrivez-moi pour en discuter.

Bon courage à tous 🙂

Véronique Duong –