Как правильно настроить Robot.txt

[Dark Angel]

Всем добрый вечер. у меня основной проект gorodbox и проект города Ноябрьска noyabrsk.gorodbox.ru .. мы планируем проект на несколько городов но сейчас конкретно занимаемся ноябрьском. Вопрос такой как правильно подать robot.txt и прописывать ли в роботе зеркала? я в вебмастере держу 2 сайта.. отдельно городбокс и noyabrsk.gorodbox .. по городу продвигаем gorodbox а в интернете noyabrsk.gorodbox

 

[_sergey_]

Для просмотра ссылки Войди или Зарегистрируйся проверка составленного
Для просмотра ссылки Войди или Зарегистрируйся описание правил

Нужно закрыть мусор который может выдавать движёк и который не должен индексироваться. Нужно указать основной хост для каждого домена и карту желательно. Для noyabrsk.gorodbox.ru и gorodbox.ru индивидуальные роботсы с разными хостами. Зеркала прописывать не надо, прописываете всё на самих зеркалах, а после подклейки 301 редирект ставите.

примеры:
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся

 

[Dark Angel]

Извиняюсь за оффтоп. Но Серега Спасибо! Век живи век учись! Рад снова увидеть тебя)

 

[MrMayson]

Вот еще от гугл сапорта.
Для просмотра ссылки Войди или Зарегистрируйся
И расширенная версия с подробным описанием.
Для просмотра ссылки Войди или Зарегистрируйся

 

[slim84]

На данный момент у вас получается gorodbox.ru является зеркалом noyabrsk.gorodbox.ru, поэтому логично для главного домена в параметре Host, указать: noyabrsk.gorodbox.ru. Либо редирект, как советовали выше, только 302 (временный), если в дальнейшем планируется другой контент на главном домене.

 

[Dark Angel]

У меня на главном домене gorodbox идет муравленко и Ноябрьск, это разные города просто по Муравленко мало новостей, фирмы идут но не много... вопрос в другом я не знаю как в апач и в нгикс настроить разные робот.тхт для домена и поддомена

Хотя может и правильно пока не занимаемся закрыть основной домен и город второй чтобы яндекс норм себя вел

 

[krymskaya]

В .htacсess'e пропишите условие. Вернее не условие, а два правила. Если доменное имя X, то отдать xRobots.txt, если Y, то yRobots.txt

 

[Dark Angel]

А можна примером? я не силен в программинге

В .htacсess'e пропишите условие. Вернее не условие, а два правила. Если доменное имя X, то отдать xRobots.txt, если Y, то yRobots.txt

 

[skiparis]

Если я правильно понимаю, что у Вас все лежит на одном FTP, то может как-нибудь так:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.subdomain.example.ru$ [NC]
RewriteRule ^robots.txt$ http://www.example.ru/x_robots.txt$1 [R=301,L]

RewriteCond %{HTTP_HOST} ^www.example.ru$ [NC]
RewriteRule ^robots.txt$ http://www.example.ru/robots.txt$1 [R=301,L]

 

[anacomp]

Можно найти сайт с хорошими показателями на таком же движке и скопировать robots.txt заменив хост и карту сайта