XML Sitemap и Поисковики - вопрос.

[mehoney]

Все ясно теперь, спасибо, а то давно мучал этот вопрос.
Запрещать в роботс или нет.

 

[mehoney]

Хотел бы уточнить еще одно.
Я закрыл в robots.txt все что мне нужно, но не хочу, чтобы robots.txt был виден и доступен кроме как роботам ПС. Возможно ли ограничить доступ не сложным образом?

 

[X-COS]

Для просмотра ссылки Войди или Зарегистрируйся вы знаете, не всегда это так.
Попросили проверить сайт. 181 ссылка/странице. В кэше гугла отмечено 5500 страниц, в кэше яндекса 58000 страниц.
Поэтому карта сайта я думаю рекомендована всем.

Для просмотра ссылки Войди или Зарегистрируйся robots.txt видят все, его не нужно ограничивать

 

[Alex_]

подскажите бесплатную програмку для создания карт сайта на неограниченное кол-во страниц

 

[X-COS]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[master6681]

ага, заблочишь их по ип они же все распределённые.

Дык по юзер агенту можно в .htaccess. что нить в этом роде

RewriteCond %{HTTP_USER_AGENT} ^.*msn [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*WebAlta [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Mail.Ru [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Wget
RewriteRule ^.* - [F,L]

полностью заблокировать поисковикам доступ к сайту, которые не смотрят на роботс?

Да как хотите. Я лично не блокирую, но если у вас там такая информация, которую вы не хотите чтобы видели роботы то лучше заблочить. Да и типа нагрузка на сервак снижается если меньше роботов будет шастать по сайту.

 

[Mikhalich]

подскажите бесплатную програмку для создания карт сайта на неограниченное кол-во страниц

Минус в таких программках, в том что они сначала шарятся по сайту, проходят по всем ссылкам и т.д. времени куча убивается. лучше скриптами пользоваться. скармливаешь ему все ссылки сайта, если имеются, и через пару секунд заливаешь sitemap на хост.

 

[X-COS]

Вы сейчас о чем вообще? Откуда могут быть ВСЕ ссылки сайта? как раз программа выше дает узнать ссылки сайта сформировать карту и добавить ее на сайт.

 

[Mikhalich]

Мда. Ступил. подумал что о дорах разговор идёт.

 

[finist_nuc]

а тег nofollow такой же эффект дает?