Закрытие сайта от индексации

[Izrael]

Что бы сайт полностью закрыть от индексации поисковыми системами, достаточно этого в роботсе или нет ?

User-agent: *
Disallow:/

 

[Stas-P]

Что бы сайт полностью закрыть от индексации поисковыми системами, достаточно этого в роботсе или нет ?

Достаточно.
К примеру я делал сайт клиенту, выкладку тестового сайта делал на своём домене.
Прописал в robots.txt запрет индексации и все, после этого в статистике Яндекс.Вебмастер меня периодически предупреждали, что сайт закрыт к индексированию и проиндексировано 0 страниц.

Так что если надо прикрывать, смело прикрывай =)

 

[papacarlo]

Если вы хотите закрыть сайт от ПС-лидеров типа яндекса и гугла, то такого роботса будет достаточно, они всегда обращаются к нему и учитывают его. Но есть много других ПС, которые не обращают на него вниманию и по полной индексят сайт (можете глянуть логи сервера). Поэтому если нужно закрыть важную инфу, то тогда нужно применять другие методы защиты.

 

[BACZ]

Что бы сайт полностью закрыть от индексации поисковыми системами, достаточно этого в роботсе или нет ?

Для Google, Yandex и Bing этого достаточно, они в выдаче будут давать какую нибудь страницу сайта с соответствующим сниппетом
Google:
"Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее"
Bing
"Мы хотели бы показать здесь описание, но сайт, который вы просматриваете, этого не позволяет."
Яндекс
просто один ответ без сниппета.

Страница кстати, может быть самая неожиданная, например bing может предложить что-нибудь типа
Для просмотра ссылки Войди или Зарегистрируйся
даже если на сайте такого нет и движок не Wordpress (а просто 404 страница выглядит как обычная страница сайта с сообщением об отсутствующей странице)

закрыть важную инфу, то тогда нужно применять другие методы защиты.

например под сочетание .htaccess с .htpasswd

 

[KnockDOWN]

Сайт не появляется в индексе Яндекса уже больше 2 месяцев. В вебмастере пишет "Сайт начал индексироваться". В чем может быть проблема?

 

[Chandler007]

Есть два способа , чтобы остановить веб- страницу индексации поисковыми системами . Одним из них является robot.txt , в котором вы можете блокировать один веб-страницу, весь каталог или даже одного изображения . Во-вторых, использование " NOINDEX " мета-тег в файле , которые не позволяют определенной веб-страницы , чтобы быть индекс . Написать код ниже , чтобы " NoIndex " страницу
< META NAME = " роботы " Content = " NOINDEX " >

 

[Sunday]

Сайт не появляется в индексе Яндекса уже больше 2 месяцев. В вебмастере пишет "Сайт начал индексироваться". В чем может быть проблема?

Мало того, что новый сайт, так еще и обновление поисковой базы у яндекса последнее время раз в сто лет происходит. Он меня и самого этим бесит.

 

[bboyspek]

Сайт не появляется в индексе Яндекса уже больше 2 месяцев. В вебмастере пишет "Сайт начал индексироваться". В чем может быть проблема?

Сайт может не индексироваться по следующим причинам:
Сайт закрыт от индексации в robots.txt (данную проблему обнаружить очень легко) и следующая распространенная проблема это тег
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">. Данный тег закрывает страницу от индексации, смотрите html-код. (бывает что некоторые CMS по умолчанию ставят этот тег) Если помог, ставим плюсик. Если нет- кидайте сайт сюда или в личку помогу разобраться.