Директива Sitemap.
Если вы используете описание структуры вашего сайта в формате sitemaps.xml, и хотите, чтобы робот узнал о ней, укажите путь к sitemaps.xml, в качестве параметра директивы 'Sitemap' (если файлов несколько, укажите все), примеры:
User-agent: Yandex
Allow: /
Sitemap:
Для просмотра ссылки Войди или Зарегистрируйся
Sitemap:
Для просмотра ссылки Войди или Зарегистрируйся
или
User-agent: Yandex
Allow: /
User-agent: *
Disallow: /
Sitemap:
Для просмотра ссылки Войди или Зарегистрируйся
Sitemap:
Для просмотра ссылки Войди или Зарегистрируйся
Робот запомнит пути к sitemaps.xml, обработает файлы и будет использовать результаты при последующем формировании сессий закачки.