Вопрос по robots.txt

Статус
В этой теме нельзя размещать новые ответы.
Alekzweb

Alekzweb

Постоялец
Регистрация
17 Июл 2008
Сообщения
88
Реакции
42
Как в robots закрыть от индексации все кроме главной?
 
в зависимости от того, как у вас отдается главная страница, с index.php(html или еще чего) или просто site.ru. если просто site.ru, то
Код: 
User-agent: *
Disallow: /*
если с /index, придется писать запреты для всех путей отдельно. при этом следя чтобы ненароком и /index не закрыли
 
Главная отдается и так и так. Я так понимаю лучше оставить открытым к индексации только site.ru

Код: 
User-agent: *
Disallow: /*

не работает(
Разделов много для каждого запрет писать не вариант.
 
=\
у яндекса есть директива Allow, можно сделать так
Код: 
User-agent: *
Allow: /index.php
Disallow: /
тогда будет индексироваться только главная. но гугл такую директиву не поддерживает.

з.ы.
@tan_81 провтыкал что и гугл знает эту директиву. благодарю.
 
наоборот директива Allow появилась у гугла значительно раньше Я
Для просмотра ссылки Войди или Зарегистрируйся

Если ее не использовать

User-agent: *
Disallow: /*/
Disallow: /123.php
Disallow:

Disallow: /*/ - закрывает все папки
Disallow: /123.php - наклонировать и закрыть все отдельные страницы в корне
Disallow: - открывает все остальное

efs написал(а):
=\
у яндекса есть директива Allow, можно сделать так
Код: 
User-agent: *
Allow: /index.php
Disallow: /
тогда будет индексироваться только главная. но гугл такую директиву не поддерживает.
Нажмите для раскрытия...
При такой схеме получается корень сайта Для просмотра ссылки Войди или Зарегистрируйся (та же главная) заблокирована
 
  • Нравится
Реакции: efs
tan_81 написал(а):
User-agent: *
Disallow: /*/
Disallow: /123.php
Disallow:
Нажмите для раскрытия...

тоже не подходит, категори остаются открытыми
site.ru/kategoriya1.html - открыта
site.ru/kategoriya1/statya.html - закрыта

Запрещать каждую категорию не вариант. Их около 100 и они переодически меняются.
Открытым надо оставить только site.ru Интересует преимущественно под Яндекс.
 
  • Заблокирован
  • #7
А если так:
User-agent: Yandex
Allow: /
Disallow: /*

Если не сможете найти решение с роботсом, есть вариант запрета - это прописать мета-тег
<meta content="NOINDEX, NOFOLLOW" name="Robots" />
на все страницы, кроме главной.
 
piest написал(а):
А если так:
User-agent: Yandex
Allow: /
Disallow: /*
Нажмите для раскрытия...

так все разрешено

piest написал(а):
Если не сможете найти решение с роботсом, есть вариант запрета - это прописать мета-тег
<meta content="NOINDEX, NOFOLLOW" name="Robots" />
на все страницы, кроме главной.
Нажмите для раскрытия...

Сайт на Joomla, как там это прописать? Всетаки с robots было бы предпочтителней (
 
Alekzweb написал(а):
тоже не подходит, категори остаются открытыми
site.ru/kategoriya1.html - открыта
site.ru/kategoriya1/statya.html - закрыта

Запрещать каждую категорию не вариант. Их около 100 и они переодически меняются.
Открытым надо оставить только site.ru Интересует преимущественно под Яндекс.
Нажмите для раскрытия...

А подумать? =) Все же написано.
В моем варианте надо было для каждой категории kategoriya1-x.html прописывать запрет (просто как то не совсем логично держать в корне без подпапки много страниц).

Ну раз много придется все-таки воспользоваться Allow

User-agent: *
Disallow: /*/
Disallow: /*.html
Allow: /index.html
Disallow:
 
  • Заблокирован
  • #10
Alekzweb написал(а):
Сайт на Joomla, как там это прописать? Всетаки с robots было бы предпочтителней (
Нажмите для раскрытия...
Сделайте в шаблоне сайта в <head>...</head> "php условие", с проверкой - если страница главная то ничего не выводим, иначе <meta content="NOINDEX, NOFOLLOW" name="Robots" />
Думаю это самый верный способ =)
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху