Папки дора и robots.txt.

[sergoon]

Заливаю доры не только в корень домена но и в папки, вида: Для просмотра ссылки Войди или Зарегистрируйся. В корне соотвественно лежит файлик rodots.txt с указанием на карту сайта в формате .xml, но эта карта описывает только дор лежащий в корне.

Надо ли в папках создавать отдельные файлы rodots.txt, в которых описан путь до карт, для доров лежащих в этих папках?

Можно ли в корневом rodots.txt дополнительно описывать пути до карт принадлежащих дорам в папках?

 

[monia]

1.Надо ли в папках создавать отдельные файлы rodots.txt, в которых описан путь до карт, для доров лежащих в этих папках?
2.Можно ли в корневом rodots.txt дополнительно описывать пути до карт принадлежащих дорам в папках?

1.Нет
2.Можно (только это вызовет подозрение у ПС)
Лучше тогда сделать subdomain.site.ru, тогда для каждого саба можно будет прописать свой robot.txt

 

[pavlenkora]

1.Нет

Получается, если поисковый бот прейдет на домен, он увидит в robots карту (карты) всего сайта, а как робот увидит, файл robots лежащий на домене, прейдя по ссылке на папку этого домена?
Мне не совсем понятно, опишите пожалуйста!

 

[monia]

Получается, если поисковый бот прейдет на домен, он увидит в robots карту (карты) всего сайта, а как робот увидит, файл robots лежащий на домене, прейдя по ссылке на папку этого домена?
Мне не совсем понятно, опишите пожалуйста!

Мне тоже не совсем понятно, что вы имеете в виду, как-то запутанно спрашиваете.
Привожу цитату:

Файл robots.txt (документ, описывающий соответствующий стандарт лежит здесь) всегда находится в корневом каталоге сайта, к примеру, если сайт site.ru имеет файл robots.txt, то этот файл будет обязательно находиться здесь site.ru/robots.txt, и только здесь. Поисковые роботы ищут этот файл только в корневом каталоге c названием robots.txt в нижнем регистре и нет никакого смысла размещать его где-либо ещё или под другим именем.

ТС, а не проще ли в sitemap.xml прописать пути до папок?

 

[sergoon]

Поисковые роботы ищут этот файл только в корневом каталоге c названием robots.txt в нижнем регистре и нет никакого смысла размещать его где-либо ещё или под другим именем.

Спасибо, это ответ на мой вопрос.

 

[numan]

Заливаю доры не только в корень домена но и в папки, вида: Для просмотра ссылки Войди или Зарегистрируйся. В корне соотвественно лежит файлик rodots.txt с указанием на карту сайта в формате .xml, но эта карта описывает только дор лежащий в корне.
Надо ли в папках создавать отдельные файлы rodots.txt, в которых описан путь до карт, для доров лежащих в этих папках?
Можно ли в корневом rodots.txt дополнительно описывать пути до карт принадлежащих дорам в папках?

когда сделал дор и залил его на сайт rodots.txt кидаешь в корень,карту сайта в формате .xml генеируешь с помощю

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

там вобьешь Для просмотра ссылки Войди или Зарегистрируйся и будет тебе щастье