Можно ли немного защитить сайт от программ типа TeleportPRO?

[glaz]

Собственно сабж.

Нужно защитить сайт от программ, которые сливают сайт полностью.
(Offline Explorer, Download Master, Mass Downloader, HTTrack, TeleportPro)

Нашел один пост на форуме, как можно закрыть их в robots.txt при помощи user-agent:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

На сколько этот список актуален?

Есть ли какие-нибудь еще способы защиты от таких софтин, т.к. user-agent, на сколько я знаю, можно менять...

Спасибо за ответ

 

[nonenone]

запрет по юсерагенту не проконает, в софтинах для скачки сайтов его можно вручную задавать

 

[glaz]

Это в первом посте учтено Поэтому спросил, про альтернативные способы защиты. User-agent может (хотя я сомневаюсь) отсечь хоть какой-то процент, но учитывая то, что сайт скачивать будут не просто так, то причину не скачивания разрулят быстро.

 

[SiriusBlack]

Поковыряйся в скриптах Ласто - особенно в последнем блоге - там стоит хорошая защита от всяких качалок, которые просто сам перечисляешь в настройках.

Вот такие стоят по дефолту:

Downloader=
Download Master=
Emailsiphon=
Emailwolf=
Getright=
Gozil=
Htmlparser=
Ms Frontpage=
Msproxy=
Offlin=
ReGet=
Superbot=
Teleport=
Teleportpro=
Webbandit=
Webcopier=
Web Downloader=
Webstr=
Webzip=

 

[General Fizz]

Модуль Апача mod_evasive спасет гиганта мысли. После установки оного необходимо понаблюдать за сайтом в течении примерно месяца и выставить оптимальные настройки.

Принцип работы модуля - (временный) бан IP, с которых поступает более чем n запросов в единицу времени.

 

[Ad1ce]

Как вариант, можно реализовать при помощи php. Создавать на страничках динамическую ссылку, видимую только поисковикам. Соответсвтвенно если не поисковый айпишник зашел на эту ссылку - в бан.

 

[ram222]

Только скрипты или что то подобное, которые отделят прогу от человека.
Смысл в том , что прога тыкается по всем всем внутренним ссылкам и очень быстро.
Человек же так не может , он почитает..перейдёт на другую страницу только тогда, когда посчитает данную страницу ненужной, а на это уходит время.

 

[looney]

Cогласен, скрипт или модом для Апача. И еше как вариант можно сделать типа замкнутого цикла, когда одна и таже страничка качается по кругу. Либо еще проще, периодически создавай/удаляй файл-бомбы (от 4 Гиг к примеру).

 

[joggy]

да, обычно у людей каналы сильные, сделать нужно ограничение не более 20 заходов за 20 секунд, потом бан по ИП на 20 минут, любую программу вырубать будет.