robots.txt подскажите маску.

[one]

Подскажите маску как в роботсе закрыть от индексации все страницы вида membersXXXX.html где XXXX цифровое значение.

 

[arsen]

User-agent: *
Disallow: /private().html
Disallow: /foo().html
Disallow: /bar().html
где () это ваш номер

 

[one]

где () это ваш номер

Хых... И сколько таких строк будет в роботсе если страницы тысячи?

Может как то так?

Disallow: /members*.html

 

[_sergey_]

Disallow: /members*.html

Если сам знаешь, зачем тогда спрашиваешь? Твой вариант подходит.

 

[one]

Если бы я знал, я бы топика не создавал... Я гадаю...

Если указать так, то исключаться все страницы содержащие members и .html?

 

[_sergey_]

Если бы я знал, я бы топика не создавал... Я гадаю...

Если указать так, то исключаться все страницы содержащие members и .html?

Нет, только мемберс и мемберс с цифрами. Страницы типа 111.html останутся. Если мемберс хочешь оставить, то вот так:
User-agent: *
Disallow: /members*.html
Allow: /members.html

Или давай реальный сайт под хайдом, и примеры ссылок что запретить.

 

[SvT]

Что бы особо не гадать, ТС, можешь воспользоваться сервисом от яндекса по проверке роботса: Для просмотра ссылки Войди или Зарегистрируйся
у гугла тоже есть.
А так без сайта все могут ошибаться в предлагаемом роботсе, ибо можно закрыть что-то полезное.

 

[bboyspek]

Нет, только мемберс и мемберс с цифрами. Страницы типа 111.html останутся. Если мемберс хочешь оставить, то вот так:
User-agent: *
Disallow: /members*.html
Allow: /members.html

Или давай реальный сайт под хайдом, и примеры ссылок что запретить.

Это не совсем правильно, так как ты не знаешь в каком уровне вложонности находится URL members.html
Так что правильно будет просто
Disallow: */members*.html и не надо ничего открывать

 

[sergp]

У меня вопрос такой: в robots стоит запрет на индексацию /cart? , но в яндекс вебмастере в структуре сайта куча страниц-корзин яндексом проиндексировано видимо их робот сам накидал на сайте. Ведь их не нужно индексировать ? Они мешают индексированию других нужных страниц сайта. Как запретить?

 

[nulledpapa]

У меня вопрос такой: в robots стоит запрет на индексацию /cart? , но в яндекс вебмастере в структуре сайта куча страниц-корзин яндексам проиндексированно видимо их робот сам накида на сайта. Ведь их не нужно индесировать ? Они мешают индексированию других нужных страниц сайта. Как запретить?

желательно полную ссылку увидеть, ну то ладно!

вот тебе пример где есть корзина с моего рабочего сайта: он немного оптимизирован для тебя:

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /cart
Disallow: */checkout
Disallow: */login
Disallow: */logout
Disallow: */myaccount
Disallow: */order_status
Disallow: */admin.php
Disallow: */auth.php
Disallow: */forgot.php
Disallow: */order_history*
Disallow: */myaccount*
Disallow: */contact_info*

User-agent: Googlebot
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /cart
Disallow: */checkout
Disallow: */login
Disallow: */logout
Disallow: */myaccount
Disallow: */order_status
Disallow: */admin.php
Disallow: */auth.php
Disallow: */forgot.php
Disallow: */order_history*
Disallow: */myaccount*
Disallow: */contact_info*

User-agent: *
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /cart
Disallow: */checkout
Disallow: */login
Disallow: */logout
Disallow: */myaccount
Disallow: */order_status
Disallow: */admin.php
Disallow: */auth.php
Disallow: */forgot.php
Disallow: */order_history*
Disallow: */myaccount*
Disallow: */contact_info*

Host: Для просмотра ссылки Войди или Зарегистрируйся
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

надеюсь мой пост поможет тебе понять как строить роботс))) там все просто!