Удаление страниц из индекса ПС и их запрет на индексацию в robots.txt

[LodeRunner]

На счет закрытия от индексирования страниц сайта по моей теме - Гугл все хорошо закрыл, теперь только главная страница доступна и сидит в индексе, а остальные через поиск не находятся. То, что нужно!
А вот Яндекс, зараза, пока нифига не исключил из индексирования страницы сайта. Пока подождем...

А на счет User-agent:* для Яши уже где-то обсуждалось, что Яша может понять, а может и не понять это правило, так что лучше для него специально прописывать User-agent: Yandex

хочу заметить что если сайт ориентирован на рунет то для яши нужно писать в самом начале, а не в конце после общих указаний остальным ботам.

Нигде не встречал подобное заявление, ведь правила для User-agent:* и для User-agent: Yandex задаются одинаковые, так что не важно, что первее съел бот Яндекса.
Сейчас посмотрел у того же известного Димокса, как у него выглядит его robots - все так, как я описывал в своем посте на 1 странице. Это вроде как эталонный шаблон. Посмотрите Для просмотра ссылки Войди или Зарегистрируйся

 

[Sharovchic]

Робята, огромное всем спасибо в целом и лично каждому! Но единственное, что я не совсем понял: Я же писал, что сайта Два !!! в своем первом посте я прописал два роботс.тхт. Один - для сайта на движке "Джумла", второй - на движке ДЛЕ. И в ответе , как я разумею, тогда показаны два роботса.тхт. Но почему тогда они для двух сайтов одинаковые? Что, разницы никакой нет в том, на каком движке сайт сделан? И почему тогда "дефолтные" роботсы такие разные? Ведь из за них, собственно, я и полез в эту кашу копаться.
Вот Роботс агентства недвижимости, сайт на "Джумле":

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Host: Для просмотра ссылки Войди или Зарегистрируйся

Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

Второй на ДЛЕ, новостной сайт:

User-agent: *
Disallow: /user/
Disallow: */rss.xml
Disallow: /tags/
Host: Для просмотра ссылки Войди или Зарегистрируйся

User-agent: Yandex
Disallow: /user/
Disallow: */rss.xml
Disallow: /tags/
Host: Для просмотра ссылки Войди или Зарегистрируйся

Во втором случае Ситемап не прописываю,посколькурассылаю его из админцентра в поисковики. или лучше все же прописать?

 

[Sharovchic]

С яндексом вообще беда! Щукин прислал ответ - они просият закрыть счетчики рейтинга с майла и другие счетчики Ливинтернет - тож! Их робот считает их за внешние ссылки, которые к тому же способны нанести вред пользователям!Бред какой-то! Закрыл тогами нофоллов и но индекс, Платон пишет лучше закрытьв роботсе. А как закрытьв роботсе, не закрывая всю чтраницу?

 

[psn]

С яндексом вообще беда! Щукин прислал ответ - они просият закрыть счетчики рейтинга с майла и другие счетчики Ливинтернет - тож! Их робот считает их за внешние ссылки, которые к тому же способны нанести вред пользователям!Бред какой-то! Закрыл тогами нофоллов и но индекс, Платон пишет лучше закрытьв роботсе. А как закрытьв роботсе, не закрывая всю чтраницу?

в robots.txt закрываются страницы а не ссылки, единственный вариант сделать редирект для url

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

и закрыть его в роботе думаю для счетчика можно также сделать, если сайты которые предоставляют статистику не против, что код счетчиков изменен

 

[Sharovchic]

в robots.txt закрываются страницы а не ссылки, единственный вариант сделать редирект для url
*** скрытое содержание ***
и закрыть его в роботе думаю для счетчика можно также сделать, если сайты которые предоставляют статистику не против, что код счетчиков изменен

Не совсем понял про редирект: это нужно добавлять перед ссылкой или прописывать в index.php? Поподробней можно? это для меня очень важно. Еще я нашел ссылку, там предлагают такой способ- из внешних сслок путем перетурбаций делают как бы внутренние. Не згаком такорй вариант? И если знаком, скажите ваше мнение...