Follow along with the video below to see how to install our site as a web app on your home screen.
Примечание: This feature may not be available in some browsers.
Не, тут надо отдавать именно роботам 404, а остальных пускатьОпределяете робота(что на 100% сделать нереально) и отдаете ему header 404
Если это не робот, то отдаете сайт.
Основной вопрос в том как определить робота, ту твариантов несколько, либо по юзерагенту, либо искать списки ip адресов роботов. Но оба эти варианта не дадут 100% результата.
Не проще сделать авторизацию для пользоователей и все?
очень часто и при переходе с пс реферер либо пустой либо закодирован... либо просто браузером не передается Так что это не вариант.Тогда в принципе по пустому рефереру можно отсекать.
Вы не определите робота на 100% ну никак. Рано или поздно будут санкции от ПС за клоакинг (когда контент для робота и для пользователя разные), даже если вы закроете для робота, эти страницы регулярно будут попадать в очередь на индексацию от разного рода плагинов браузера или самого браузераНе, тут надо отдавать именно роботам 404, а остальных пускать
Исходя из того, что задача заблокировать всех роботов (и поисковых в том числе) - задача просто скрыть сайт от всех, т.е. санкции за клоакинг не должны волновать.Вы не определите робота на 100% ну никак. Рано или поздно будут санкции от ПС за клоакинг (когда контент для робота и для пользователя разные), даже если вы закроете для робота, эти страницы регулярно будут попадать в очередь на индексацию от разного рода плагинов браузера или самого браузера
Ну этого мы пока не знаем. Мне вообще цель этого не яснаИсходя из того, что задача заблокировать всех роботов (и поисковых в том числе) - задача просто скрыть сайт от всех, т.е. санкции за клоакинг не должны волновать.
Скоро открываем сервис клоакинга. Сейчас он пока в стадии тестирования (кстати, приглашаем всех желающих потестить).Всем привет. Нужно отдавать роботам ошибку, а юзерам норм сайт. Как это сделать?
В целом, это клоакинг и за такое можно словить санкции от ПС. Но если вас это не пугает, то в интернете полно гайдов именно по слову Клоакинг, подмена контента и т.п.Всем привет. Нужно отдавать роботам ошибку, а юзерам норм сайт. Как это сделать?