Crawler et extraire automatiquement les URL d’un site (Outil SEO)

Bonjour Ă  tous !

Je reviens avec un article geek pour dĂ©buter la semaine en beautĂ© ! VoilĂ , rĂ©cemment, j’ai eu besoin de faire une extraction complĂšte d’URL d’un trĂšs trĂšs gros site web contenant plus de 5000 pages. Je sais qu’il existe pas mal d’outils (plus ou moins) gratuits sur le marchĂ© pour faire des extractions d’URL, mais aprĂšs avoir Ă©tudiĂ© nombreux d’entre eux, ils ne rĂ©pondaient pas parfaitement Ă  ce que je recherchais.

AprĂšs avoir cherchĂ© une solution pendant un bon moment, je me suis dit qu’AUTOVEILLE pourrait trĂšs bien crawler un site web tout en extrayant les URL. Parce que si j’arrive Ă  veiller des sites ou des pages avec AUTOVEILLE Monitoring en rĂ©cupĂ©rant des masses d’informations, je pourrais Ă©galement dĂ©tourner mon logiciel de veille automatique en outil de crawl de sites web.

J’ai donc tentĂ© l’essai. J’ai Ă©galement mis en place un log pour rĂ©cupĂ©rer les URL et leurs codes de statuts http.

Voici l’exemple du crawl sur mon propre site AUTOVEILLE:

1) Indication du temps que mon outil de crawl AUTOVEILLE a mis pour extraire toutes les URL du site

Outil extraction URL AUTOVEILLE

2) Indication détaillée sur une des URL de mon site (poids, code de statut http, etc.)

Outil de crawl d'URL AUTOVEILLE

3) Ensuite, si vous souhaitez n’extraire que les URL, il suffit de faire un peu de nettoyage pour obtenir un fichier propre. Dans l’exemple ci-dessous, il y a toutes les URL mĂȘme les images, le robots.txt, le CSS, etc.

Extraction des URL d'un site4) Si vous ne souhaitez que les URL avec .html ou autre extension, il suffit de recréer un filtre sur les URL extraites

Outil SEO extraction URL

En tout cas, je suis contente de ma « dĂ©couverte » qui est en fait une autre façon d’utiliser mon outil de veille automatique ! 🙂 Il marche trĂšs bien sur les petits / moyens sites. Par contre pour un trĂšs trĂšs gros site, il faut avoir un peu de patience, car il met plus de temps Ă  crawler (ce qui est normal me diriez-vous).

Facilement adaptables, mes outils peuvent ĂȘtre personnalisĂ©s pour diffĂ©rents cas.

Bon courage !

VĂ©ronique Duong –

 

Publicités
2 commentaires

Laissez un petit mot Ă  AUTOVEILLE ;)

Choisissez une méthode de connexion pour poster votre commentaire:

Logo WordPress.com

Vous commentez Ă  l'aide de votre compte WordPress.com. DĂ©connexion /  Changer )

Photo Google+

Vous commentez Ă  l'aide de votre compte Google+. DĂ©connexion /  Changer )

Image Twitter

Vous commentez Ă  l'aide de votre compte Twitter. DĂ©connexion /  Changer )

Photo Facebook

Vous commentez Ă  l'aide de votre compte Facebook. DĂ©connexion /  Changer )

w

Connexion Ă  %s

%d blogueurs aiment cette page :