прочекать большую базу

Статус
В этой теме нельзя размещать новые ответы.
Z

ZavodiJIo

Постоялец
Регистрация
26 Авг 2008
Сообщения
123
Реакции
2
нужно прочекать большую базу с линками под спам. Прочекать на пр и тиц. Аллсабом пользоваться неудобно, ибо он очень медленно работает с базами ( да и сам по себе не быстро) ищу софт, который сможет относительно быстро прочекать базу размером в 120к урлов. Заранее спасибо
 
прочекай ее вначале на живучесть (200 ok), а потом на пробив (именно твоей версией) Хрумером, и уже после то что останется (10-15к) YCCA

ps на пр нельзя быстро чекнуть, гугл забанит по айпишнику
 
Довольно интересный алгоритм. Пожалуй так и поступлю, только не понял что за 200 ok ?
 
ZavodiJIo написал(а):
Довольно интересный алгоритм. Пожалуй так и поступлю, только не понял что за 200 ok ?
Нажмите для раскрытия...

200 ок ответ сервера о доступности, говорит о том что ссылак еще живая
много прог это делает здесь эти темы не раз поднимались
я склоняюсь к Xenu (меньше всего ошибок)
 
Попробовал, работает довольно скверно и медленно. Грузил мою базу минут 15, чекала за час около 1к ссылок, такая скорость меня не устраивает увы. Скорее всего буду сразу хрумером проверять %)
 
ZavodiJIo написал(а):
Попробовал, работает довольно скверно и медленно. Грузил мою базу минут 15, чекала за час около 1к ссылок, такая скорость меня не устраивает увы. Скорее всего буду сразу хрумером проверять %)
Нажмите для раскрытия...
неправильная настройка за 2-3 часа проходит порядка 15-20к ссылок
видимо в настройках указал проверять не только доступность сервера
 
В Хрефере есть чекалка на пр, работает быстро.
Еще вот тут есть прога
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.
 
насколько мне извесно хрефер до сих пор не взломан, если я не прав, пожалуйста, дайте линк на софт.
 
Я чекаю агресс парсером. Вроде скорость нормальная.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху