Как найти карту сайта

sinij

Создатель
Регистрация
26 Дек 2007
Сообщения
28
Реакции
8
Добрый день.

Подскажите как можно найти карту чужого сайта если:
нет файла robots.txt
нет файла sitemap.xml
 
Этот сервис позволяет создать карту сайта только на 500 страниц.

Может кто знает сервис который умеет находить карты сайтов?
 
есть софт различный типа sitemapgenerator
вылеченный от жадности в разделе софта
 
делаю парсер сайта и решил что будет проще отпарсить sitemap чем ходить по ссылкам на сайте.
 
По моему content dowloader спарсит все без карты достаточно указать в ссылках главную страницу (если структура не сложная). и карты строить не надо
 
По моему content dowloader спарсит все без карты достаточно указать в ссылках главную страницу (если структура не сложная). и карты строить не надо
Или для скачивания всего сайта(вместе с картой) можно использовать
 
По моему content dowloader спарсит все без карты достаточно указать в ссылках главную страницу (если структура не сложная). и карты строить не надо
Автор имеет в виду, что он не "хочет спарсить сайт", а именно "делает свой парсер сайта".

А вот если бы задача была именно спарсить сайт - тогда да, CD - наилучший из известных мне парсеров...
 
Меня немного удивляют сайты, которые не делают свой sitemap.xml - ведь его наличие, как я понимаю, улучшает индексацию страниц поисковыми системами Яндек и Google.
 
Меня немного удивляют сайты, которые не делают свой sitemap.xml - ведь его наличие, как я понимаю, улучшает индексацию страниц поисковыми системами Яндек и Google.
Безусловно, в вебмастерах яндекса и гугла есть специальные пункты для загрузки sitemap.xml, это помогает роботам проходиться по сайту и эффективнее и быстрее их индексировать...
 
Назад
Сверху