Schtirliz
Постоялец
- Регистрация
- 6 Апр 2006
- Сообщения
- 77
- Реакции
- 171
- Автор темы
- #1
UrlChecker v1.0
Простой скрипт для чека списка юрлов на валидность.
Для работы требуется наличие интерпритатора языка Python (Для просмотра ссылки Войдиили Зарегистрируйся).
Скрипт тестировался под версией Питона 2.5 и ОС WinXP and FreeBSD
Запускается из командной строки:
Код:
Первый параметр база юрлов, одна строка один url.
Второй параметр - текст наличие которого на странице переводит страницу в ранг “хороших”
Результаты сохраняются в файлы (на каталог со скриптом права 777
Код:
Какой из них что значит, думаю, не стоит объяснять
Скрипт по умолчанию работает в 10 потоков, но думаю это число можно без проблем увеличить
до 20, 30, 50 и т.д., сколько сервер выдюжит и канал.
Параметр в скрипте - thread_count = 10 #Кол-во потоков используемых в скрипте для чека юрлов
Для чего это надо?
Возможно вам это и не надо,если перед вами не встаёт задачи быстро проверить
большую базу юрлов на живучесть или на пробив после рассылки, даже хотябы на
наличие формы на странице. Данный скрипт такое выполняет с лёгкостью,в отличие
от бедного SpamIt-а или VIP-а, их задача состоит не в том чтобы тратить время
на обработку страниц без форм,а совсем в другом.
Для просмотра ссылки Войдиили Зарегистрируйся
Для просмотра ссылки Войдиили Зарегистрируйся
Простой скрипт для чека списка юрлов на валидность.
Для работы требуется наличие интерпритатора языка Python (Для просмотра ссылки Войди
Скрипт тестировался под версией Питона 2.5 и ОС WinXP and FreeBSD
Запускается из командной строки:
Код:
PHP:
python check.py page_db.txt text_search
python check.py guest.txt “<form”
Первый параметр база юрлов, одна строка один url.
Второй параметр - текст наличие которого на странице переводит страницу в ранг “хороших”
Результаты сохраняются в файлы (на каталог со скриптом права 777
Код:
PHP:
good_file = “good_urls.txt”
bad_file = “bad_urls.txt”
Какой из них что значит, думаю, не стоит объяснять
Скрипт по умолчанию работает в 10 потоков, но думаю это число можно без проблем увеличить
до 20, 30, 50 и т.д., сколько сервер выдюжит и канал.
Параметр в скрипте - thread_count = 10 #Кол-во потоков используемых в скрипте для чека юрлов
Для чего это надо?
Возможно вам это и не надо,если перед вами не встаёт задачи быстро проверить
большую базу юрлов на живучесть или на пробив после рассылки, даже хотябы на
наличие формы на странице. Данный скрипт такое выполняет с лёгкостью,в отличие
от бедного SpamIt-а или VIP-а, их задача состоит не в том чтобы тратить время
на обработку страниц без форм,а совсем в другом.
Для просмотра ссылки Войди
Для просмотра ссылки Войди