Как получить список URLов всех страниц сайта?

Статус
В этой теме нельзя размещать новые ответы.
G

glaz

Постоялец
Регистрация
11 Дек 2008
Сообщения
76
Реакции
8
Собственно сабж. Есть сайт, хочу на нем сделать внутреннюю перелинковку. Есть ли какие-нибудь софтины, или скрипты, которые позволяют получить список URLов всех страниц на сайте.

Наверно это могут различные сервисы по созданию sitemap'ов, но там немного не то.

В общем результат должен быть что-то вроде ТХТшника, который в каждой строчке содержит УРЛ страницы, что типа:


_http://www.site.ru/
_http://www.site.ru/cat1/
_http://www.site.ru/cat2/
_http://www.site.ru/cat3/

и т.д.

Если подобные темы есть, дайте ссылку, а это кильните.
 
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

регишся, добаляешь сайт, подтверждаешь права, ждешь.
сайт спарсится, и выдаст тебе все внутренние ссылки твоего сайта в нужном тебе формате: txt, html, xml.
 
  • Нравится
Реакции: glaz
Еще вариант:
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Сканируешь с помощью него сайт (есть выбор от 1 до 10 потоков), затем во вкладке "Yahoo Map/Text" забираешь все ссылки в текстовом формате.
 
mmr, прога хорошая. А там можно как-нибудь запретить сканить дерикторию форума? т.е. сканить все кроме _http://site.ru/forum/*
а то чет ппц, на форуме всего постов 400, а он страницы 20к нашел.... (как бы я знаю почему так много, и именно поэтому хочу запретить сканить форум).
 
Активно для этой цели использую бесплатную прогу под названием XENU. Помимо ссылок может считать сколько на каждую страницу ссылается и сколько ссылается сама эта страница.. :)
Google в помощь :)
 
mrr, Отличная программа - и url, и title "собирает". Искал такую. Но слишком уж много несуществующих страниц находит:confused:
Хотя вроде и ссылок на них не где нет.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху