Карта сайтов (список url)

[akigleo]

Допустим есть 100 сайтов и нужно собрать список url с каждого и сохранить в txt файл.
Чем это можно сделать, чтобы сразу все 100, а не по одному?
Подойдет скрипт или программа.

 

[kouri]

Все урлы в один тхт файл или для каждого сайта в отдельный файл?
Можно попробовать решить вопрос ContentDownloader`ом... Не рассматривал такой вариант?

 

[akigleo]

Такой проги у меня нет, но как вариант решения - принято.

 

[Sma11erM1nd]

Самое простое - это использовать content downloader.

p.s. Все ссылки находятся на главных? Или надо ползать по сайту и собирать их?

 

[ZCFD]

а собрать sitemap.xml с сайтом можно?

Если да - склить их и регуляркой собрать урлы, можно даже вручную в каком-нибудь RegExp Buddy