Как отдавать роботам 404

Mukis

Постоялец
Регистрация
26 Мар 2013
Сообщения
126
Реакции
22
Всем привет. Нужно отдавать роботам ошибку, а юзерам норм сайт. Как это сделать?
 
Определяете робота(что на 100% сделать нереально) и отдаете ему header 404
Если это не робот, то отдаете сайт.
Основной вопрос в том как определить робота, ту твариантов несколько, либо по юзерагенту, либо искать списки ip адресов роботов. Но оба эти варианта не дадут 100% результата.

Не проще сделать авторизацию для пользоователей и все?
 
Определяете робота(что на 100% сделать нереально) и отдаете ему header 404
Если это не робот, то отдаете сайт.
Основной вопрос в том как определить робота, ту твариантов несколько, либо по юзерагенту, либо искать списки ip адресов роботов. Но оба эти варианта не дадут 100% результата.

Не проще сделать авторизацию для пользоователей и все?
Не, тут надо отдавать именно роботам 404, а остальных пускать
 
Неплохо бы уточнить задачу: вообще всех роботов надо отсеивать? А на сайт откуда тогда будут заходить? Вбивая адрес напрямую? Тогда в принципе по пустому рефереру можно отсекать. Плюс на всякий случай погуглить основные роботы поисковых систем и их отдельно блокировать. Еще можно к примеру на javascript ставить куку по истечению 5 секунд и по отсутствию этой куки блочить (хотя можно и посетителей, быстро переходящих по ссылкам, таким образом заблокировать).
 
Тогда в принципе по пустому рефереру можно отсекать.
очень часто и при переходе с пс реферер либо пустой либо закодирован... либо просто браузером не передается Так что это не вариант.
Не, тут надо отдавать именно роботам 404, а остальных пускать
Вы не определите робота на 100% ну никак. Рано или поздно будут санкции от ПС за клоакинг (когда контент для робота и для пользователя разные), даже если вы закроете для робота, эти страницы регулярно будут попадать в очередь на индексацию от разного рода плагинов браузера или самого браузера
 
Вы не определите робота на 100% ну никак. Рано или поздно будут санкции от ПС за клоакинг (когда контент для робота и для пользователя разные), даже если вы закроете для робота, эти страницы регулярно будут попадать в очередь на индексацию от разного рода плагинов браузера или самого браузера
Исходя из того, что задача заблокировать всех роботов (и поисковых в том числе) - задача просто скрыть сайт от всех, т.е. санкции за клоакинг не должны волновать.
 
Исходя из того, что задача заблокировать всех роботов (и поисковых в том числе) - задача просто скрыть сайт от всех, т.е. санкции за клоакинг не должны волновать.
Ну этого мы пока не знаем. Мне вообще цель этого не ясна
 
А при чем здесь 404 страница? Ведь есть стандартный путь закрыть страницы от индексации, прописав нужное в robots.txt. Много примеров здесь

Скрытое содержимое доступно для зарегистрированных пользователей!

Или закрытие части текста от поисковиков (как я понял, автор что-то нелегальное хочет продавать)
<!--googleoff: all-->
<!--noindex-->
<noindex>
Скрытый текст
</noindex>
<!--/noindex-->
<!--googleon: all-->

А вообще, если вы используете joomla, то вам в помощь rereplacer, где вы спокойно назначите для конкретных страниц замену кода по многим условиям, в том числе и для роботов.
 
Всем привет. Нужно отдавать роботам ошибку, а юзерам норм сайт. Как это сделать?
Скоро открываем сервис клоакинга. Сейчас он пока в стадии тестирования (кстати, приглашаем всех желающих потестить).
У нас, в том числе, есть база UA и подсеток всех ботов (около 35К записей).
Есть возможность показывать юзверям нормальный контент, а ботам выдавать другой (в том числе и 404).
Конечно, 100% гарантии определения ботов не может дать никто, но, наш сервис определяет, я думаю, где-то 99.99% всех ботов.
Если будет желание и сайт не очень сильно посещаемый, велком в скайп: live:4e48e4a4f51365c4
Сделаю бесплатно.
 
Всем привет. Нужно отдавать роботам ошибку, а юзерам норм сайт. Как это сделать?
В целом, это клоакинг и за такое можно словить санкции от ПС. Но если вас это не пугает, то в интернете полно гайдов именно по слову Клоакинг, подмена контента и т.п.
 
Назад
Сверху