Récupérer toutes les URLs d’un site

April 12, 2016 | less than 1 minute read

PPetite astuce pour récupérer toutes les URLs d’un site (pratique lors de la refonte d’un site ou pour le SEO) :

1 – Installer ack

Ack est un outil comme grep développé en Perl et qui utilise des expressions régulières. Son avantage est qu’il est puissant et complet pour les recherches.

brew install ack

2 – Faire sa recherche sur une URL donnée et la stocker dans un fichier

wget --spider -r -nv -nd -np http://ma-super-url/ 2>&1 | ack -o '(?<=URL:)\S+' > ~/Desktop/liste_urls.txt

# --spider                  don't download anything.
# -r,  --recursive          specify recursive download.
# -nv, --no-verbose         turn off verboseness, without being quiet.
# -nd, --no-directories     don't create directories.
# -np, --no-parent          don't ascend to the parent directory.

Originally published at Sois-net.