Закрыть сайт от индексации

b10antoxa

b10antoxa

Старатель
Регистрация
6 Ноя 2014
Сообщения
153
Реакции
13
Добрый день. Пытаюсь закрыть сайт Опенсарт от индексации сделал много
robots.txt:
User-agent: *
Disallow: /
и раскидал по всем папкам, начиная с корня и заканчиваю подпапками.
При вводе ключевых слов - яндекс, гугл находят мой сайт без проблем(, и под наименованием выдают тексты, размещенные на сайте.
Как можно полностью закрыться от индексирования, подскажите пожалуйста.
 
User-agent: *
Disallow: /

В корне 1 раз разместить и всё. После переиндексации сайта страницы вылетят из индекса. В гугле можно запрос на удаление послать, но в этом случае добавить снова в индекс сможете только через 3 месяца.
 
b10antoxa написал(а):
Как можно полностью закрыться от индексирования, подскажите пожалуйста.
Нажмите для раскрытия...
Роботс не поможет (он то закрывает страницы, но не до конца - они будут и дальше индексироваться).
Единственный вменяемый метод - добавить как-можно выше в head метатег <meta name="robots" content="noindex, nofollow">...
 
Роботс это аналог что при посещении каждой ссылки бот будет получать 404 ошибку. Для ускорения сюда урлы ещё добавить: Для просмотра ссылки Войди или Зарегистрируйся

Вообще я сколько при создании сайта кидал в корень, запрет в роботсе - никогда не индексирвался. А если нужна полная надёжность, просто доступ к сайту на пароль закрываю.
 
_sergey_ написал(а):
Роботс это аналог что при посещении каждой ссылки бот будет получать 404 ошибку.
Нажмите для раскрытия...
1) Так ведь человек не хочет, что б робот видел 404 ошибку. Кстати откуда вообще взята информация о такой аналогии?
2) Видать вы не так часто работали с robots.txt , что вам не попадалась в выдаче "закрытая в robots от индексации" страница с дескрипшином "A description for this result is not available because of this site's robots.txt". Другими словами - страница проиндексорована, но описание закрыто в robots.txt

Robots.txt - это скорее рекомендации к действию, а не свод правил, которые робот должен выполнять. А вот если сразу после <head> всунуть <meta name="robots" content="noindex, nofollow"> - это уже для роботов будет правило, которое они обязаны выполнить.
 
Он хочет не от индексирвоания закрыться, а чтобы ПС сниппеты с его текстами в выдаче не выдавало. В этом случае да, можно и как вы предлагаете сделать. Но мне и обычный роботс помогал, со временем в выдаче только урл остаётся.
 
Diopak написал(а):
Хотя странное у вас желания, другие делают все что бы попасть в выдачу и легко находиться по ключевикам, а вы наоборот.
Нажмите для раскрытия...
Дело в том, что сайт еще только в разработке, а уже висит в топе по ключевым словам( со всеми ошибками и проблемами
_sergey_ написал(а):
User-agent: *
Disallow: /
В корне 1 раз разместить и всё.
Нажмите для раскрытия...
Так не только в корне, но и по всем подпапкам лежит, на всякий случай
UJy написал(а):
Роботс не поможет (он то закрывает страницы, но не до конца - они будут и дальше индексироваться).
Единственный вменяемый метод - добавить как-можно выше в head метатег <meta name="robots" content="noindex, nofollow">...
Нажмите для раскрытия...
Спасибо, сейчас попробую сделать. А результаты когда увижу)? при следующей переиндексации через месяц))?
 
b10antoxa написал(а):
Дело в том, что сайт еще только в разработке, а уже висит в топе по ключевым словам( со всеми ошибками и проблемами
Нажмите для раскрытия...

Тогда нужно исправить быстро ошибки (хотя бы до минимально приемлемого варианта) и оставаться в выдаче по запросам )

Хотя если сайт с ошибками и проблемами в топе по ключевикам, я могу только догадываться что же это за ключевики )))

А вообще нужно смотреть на посещаемость, если у она низкая, то делайте сайт и не заморачивайтесь, раз уже страницы проиндексированы. Доделать сайт в разы быстрее будет чем ждать пока ПС переиндексирует страницы ;)
 
понял, наверно так и сделаю, Спасибо всем за помощь.

А что с ключевиками может быть не так?=)
 
Последнее редактирование:
А если в .htaccess'е прописать правило 410 для всех страниц сайта?
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху