robots.txt подскажите маску.

one

Профессор
Регистрация
22 Июн 2011
Сообщения
407
Реакции
46
Подскажите маску как в роботсе закрыть от индексации все страницы вида membersXXXX.html где XXXX цифровое значение.
 
User-agent: *
Disallow: /private().html
Disallow: /foo().html
Disallow: /bar().html
где () это ваш номер
 
где () это ваш номер
Хых... И сколько таких строк будет в роботсе если страницы тысячи?

Может как то так?

Disallow: /members*.html
 
Если бы я знал, я бы топика не создавал... Я гадаю...

Если указать так, то исключаться все страницы содержащие members и .html?
 
Если бы я знал, я бы топика не создавал... Я гадаю...

Если указать так, то исключаться все страницы содержащие members и .html?
Нет, только мемберс и мемберс с цифрами. Страницы типа 111.html останутся. Если мемберс хочешь оставить, то вот так:
User-agent: *
Disallow: /members*.html
Allow: /members.html

Или давай реальный сайт под хайдом, и примеры ссылок что запретить.
 
  • Нравится
Реакции: one
Что бы особо не гадать, ТС, можешь воспользоваться сервисом от яндекса по проверке роботса: Для просмотра ссылки Войди или Зарегистрируйся
у гугла тоже есть.
А так без сайта все могут ошибаться в предлагаемом роботсе, ибо можно закрыть что-то полезное.
 
Нет, только мемберс и мемберс с цифрами. Страницы типа 111.html останутся. Если мемберс хочешь оставить, то вот так:
User-agent: *
Disallow: /members*.html
Allow: /members.html

Или давай реальный сайт под хайдом, и примеры ссылок что запретить.
Это не совсем правильно, так как ты не знаешь в каком уровне вложонности находится URL members.html
Так что правильно будет просто
Disallow: */members*.html и не надо ничего открывать
 
У меня вопрос такой: в robots стоит запрет на индексацию /cart? , но в яндекс вебмастере в структуре сайта куча страниц-корзин яндексом проиндексировано видимо их робот сам накидал на сайте. Ведь их не нужно индексировать ? Они мешают индексированию других нужных страниц сайта. Как запретить?
 
Последнее редактирование:
У меня вопрос такой: в robots стоит запрет на индексацию /cart? , но в яндекс вебмастере в структуре сайта куча страниц-корзин яндексам проиндексированно видимо их робот сам накида на сайта. Ведь их не нужно индесировать ? Они мешают индексированию других нужных страниц сайта. Как запретить?

желательно полную ссылку увидеть, ну то ладно!

вот тебе пример где есть корзина с моего рабочего сайта: он немного оптимизирован для тебя:

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /cart
Disallow: */checkout
Disallow: */login
Disallow: */logout
Disallow: */myaccount
Disallow: */order_status
Disallow: */admin.php
Disallow: */auth.php
Disallow: */forgot.php
Disallow: */order_history*
Disallow: */myaccount*
Disallow: */contact_info*

User-agent: Googlebot
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /cart
Disallow: */checkout
Disallow: */login
Disallow: */logout
Disallow: */myaccount
Disallow: */order_status
Disallow: */admin.php
Disallow: */auth.php
Disallow: */forgot.php
Disallow: */order_history*
Disallow: */myaccount*
Disallow: */contact_info*

User-agent: *
Disallow: /cgi-bin/
Disallow: /temp/
Disallow: /cart
Disallow: */checkout
Disallow: */login
Disallow: */logout
Disallow: */myaccount
Disallow: */order_status
Disallow: */admin.php
Disallow: */auth.php
Disallow: */forgot.php
Disallow: */order_history*
Disallow: */myaccount*
Disallow: */contact_info*

Host: Для просмотра ссылки Войди или Зарегистрируйся
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

надеюсь мой пост поможет тебе понять как строить роботс))) там все просто!
 
Назад
Сверху