GSiteCrawler - не понравился. Работал всю ночь для небольшого сайта, такое впечатление что он чуть-ли не каждую ссылку тестирует с рандомными параметрами.. Полученный результат толком и проверить нельзя, только сохранить.
А я вот ищу sitemaps-генератор, в котором после создания карты сайта можно было поудалять ненужные ссылки, желательно по фильтру. Бо например есть сайт где есть очень полезные ветки в форуме и на них часто ссылаются. Тобишь я форум индексирую. Но эти sitemap-генераторы тупо запихивают в базу все-все ссылки с форума, даже линки на игнор пользователей и тп. Вручную чистить их запаришься..
Может знает кто такую софтинку, которая позволяет причесывание полученной карты сайта? :bc: