Помогите с robots.txt

[WerewolfGSM]

Добрый день.
Помогите пожалуйста с файлом роботс.тхт.
Движок: wordpress

Вопрос 1.
Мне надо заблокировать некоторые страницы сайта. Например, у меня есть сайт

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

в ней есть директория

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

в этой директории есть поддиректории (которые создают список постов с такими

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Мне надо закрыть все директории tag/tag-1/ и далее (можно и саму главную директорию tag закрыть)
Добавил в роботс.тхт команду
User-agent: *
Disallow: /tag/

Но почему то в индексе есть страницы типа

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

и т.д.

Команда была добавлена около 2х месяцев назад (практически с начала существования сайта).

Вопрос 2.
На том же сайте. Есть категории, которые выводят список постов входящих в категорию, ссылки вида:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

смысл тот же что и с тегами, что бы избежать дублирования контента, надо удалить из индекса все что имеет вид /years/№года
наличие сточки
Disallow: /movies/years/ ничего не дало. Страницы добавились в индекс.


Вопрос 3. Более сложный
На том же сайте. Есть категории, ссылки вида:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Надо заблокировать категории, но страницы с товарами оставить в индексе.

Надеюсь на понимание, если вопрос нубский. Но действительно страницы находятся в индексе, хотя были заблокированы.
Спасибо.

 

[ZCFD]

1) линк в студию
2) зайди в панель вебмастера яндекса webmaster.yandex.ru ( ну и добавь свой сайт есно )

там в частности есть Проверка корректности файла robots.txt и Пункты про индекс

PS вроде из того что ты написал все правильно, так что см пункт 1

 

[капрал]

если твои страници в индексе уже, а ты поправил (запретил) инлексацию этих страниц, то к сожУлению,эти страници так и останутся в индексе. до к4акого временине знаю, но у самого такая же ситуация, вот уже третий месяц жду, смотрю...

третий вопрос имхо нереально синтаксически поправить. через роботс конечно же. используй <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">

 

[solarscape]

Страницы можно принудительно удалить.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[vbnm070]

Анализатор robots от яндекса

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

у гугля такой же есть в вебмастере

 

[WerewolfGSM]

Сайт продвигается под гугль. В файле роботс.тхт никаких ошибок панель гугля не нашла. Все сделано можно сказать по их учебнику. А результат - страницы всеравно в индексе. Ну чтож, будем ждать, может сами выпадут.
А для гугля есть аналог delurl.xml?

 

[vbnm070]

Сайт продвигается под гугль. В файле роботс.тхт никаких ошибок панель гугля не нашла. Все сделано можно сказать по их учебнику. А результат - страницы всеравно в индексе. Ну чтож, будем ждать, может сами выпадут.
А для гугля есть аналог delurl.xml?

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[maniak81]

Я, честно говоря, не слышал