fuckthesystem
Создатель
- Регистрация
- 29 Дек 2007
- Сообщения
- 46
- Реакции
- 6
в сосежнем топике очень советуют
Для просмотра ссылки Войдиили Зарегистрируйся
нужен серверный, на пхп
Follow along with the video below to see how to install our site as a web app on your home screen.
Примечание: This feature may not be available in some browsers.
в сосежнем топике очень советуют
Для просмотра ссылки Войдиили Зарегистрируйся
Возможности системы:
* Сбор мыла со всего мира, сборщик имитируя поисковый робот, или просто юзеров ходит от сайта к сайту.
* Все урл присылаются на сервер, ни один не проходит мимо, а значит задания хватит на долго.
* Вся закачка где это возможно происходит по протоколу http 1.1 с использованием алгоритма сжатия gzip или deflate, существенно экономя ваш траффик.
* Мощная, балловая xxxxx rating (как с спамассасине) защита от генерата и дорвеев. Анализ кода страницы, высчитывается степень похожести сайта на дорвей.
* Полное управление сетью сборщиков из админки
* Возможность парсить только одну или несколько стран
* Сервер на портах завершения держит большие нагрузки
* Мыло выбирается по невероятным маскам, выжимая максимум из страницы
* Везде где возможно соединение ведется ч-з keep-alive соединение, существенно ускоряя процесс сбора и уменьшая абузы от антиддос-программ
Что такое xxxxx?
Это харвестер, веб-кравлер, веб-робот. В целом система для сканирования сайтов в сети. xxxxx - кластерная система, работает на выделенных серверах и VDS(VPS), пока под управлением Windows 2000,XP,2003
Что нужно минимально для работы?
минимально необходимо 2 сервера. На один (центр) устанавливается серверный софт, управляющая панель, на второй (веб-бот,клиент) клиентская часть программы
как часто выходят обновления?
xxxxx постоянно развивается, и обычно обновление выходит раз в неделю. Баги бывают как и во всех сложных системах, но мы стараемся искать их и убирать.
на чем написана система?
серверный софт, админ-панель, клиентский софт (веб-бот) , т.е. полный комплект написаны на С++ с использованием кроссплатформенных библиотек.
Какая скорость сбора?
Скорость сбора зависит от 2х вещей: 1) канал сервера и процессор
2) стоит ли флаг сканировать сайт от корки до корки. Если флаг установлен сбор идет медленнее, но мыло достается из самых глубин сайта, и задания хватит на долгие месяцы.