- Автор темы
- #1
За ботов, как известно, не банят. Однако, на фиде они очень сильно портят статистику, нагружают сервак и бесцельно расходуют мощность сервера. Что же нужно предпринять для уменьшения их кол-ва на наших фидах? 1. Следуя этой статье (кстати, очень правильной и своевременной) Для просмотра ссылки Войди или Зарегистрируйся нам надо использовать редиректы которые ПОКА не палятся поисковиками, примеры там приведены. Даже если вы используете айфрейм - по возможности кодировать его также ява-скриптом. 2. В корне домена с фидом нужно положить файлик robots.txt со следующим содержанием: User-agent:* Disallow:/ Вот уже 4 года такие меры приносят на моих фидах результаты - ботов я не наблюдаю, однако хитрый гугл все-таки поставил несколько страниц в выдачу по домену, а именно страницы вида Для просмотра ссылки Войди или Зарегистрируйся И еще одну тему спалю - если вы использовали обычные редиректы некоторое время, то после того как будет убран файлик robots.txt гугл будет индексить сайт как ненасытный. Выяснилось это случайно - забыл продлить домен с фидом, там полдня повисела дефолтная выдача регистранта, было проиндексировано и поставлено в индекс 800 страниц обычного их дефолтного поискового фида. Затем на другом домене догадка была проверена - за 8 часов больше 1000 страниц в индексе. Вот так то вот не давать гуглу лазить на сайт, ему интересно что же от него скрывают, поэтому сразу после снятия запрета он как голодный индексит все что попадется. Но, замечу - надо чтобы у домена была выдержка и ссылки на него, пусть даже из редиректов.
, добавлялись совсем доры 
.