Помощь Поделитесь вашими Robots.txt

[Sektantik]

Друзья поделитесь вашими robots.txt пожалуйста, стоковые выкладывать не нужно.

 

[Trytone]

Пришлось открыть в роботсе компоненты, модули и шаблон.
Теперь это гугл требует.
Кстати позиции в гугле после этого поднялись.

 

[shadowrun]

а смысл выкладывать роботс?
каждый роботс строго индивидуален в зависимости от используемых расширений и архитектуры сайта

 

[Sektantik]

Пришлось открыть в роботсе компоненты, модули и шаблон.
Теперь это гугл требует.
Кстати позиции в гугле после этого поднялись.

Можете выложить ваш robots.txt

 

[Trytone]

Смысла выкладывать нет. Создайте свой на основе дефолтного.
Я Вам больше того скажу - в разных сдижках разный роботс.
Но принцип один.
Сперва следует юзер-агент, а за ним запреты или разрешения.
User-agent: * [звёздочка означает что угодно - яндекс, гугл, и прочие]
Disallow: /adminka/ [запрет роботам посещать файлы в папке "adminka"]
Disallow: /search* [запрет индексации страниц поиска на сайте. Но URL СТРАНИЦ ПОИСКА может быть другим. Нпример /?s=* ]
Allow: /images/ [разрешить роботам просмотр файлов в папке с картинками включая вложеенные папки]
Disallow: / [полностью запрещает индексацию сайта. с такой строчкой сайт либо никогда не проиндексируется, либо вылетит из поисковиков очень быстро]
Host: Для просмотра ссылки Войди или Зарегистрируйся [указывает роботам основное зеркало зайта. С www и без www - это два разных сайта с точки зрения поисковиков.]

А ещё с помощью robots.txt можно избавиться от дублей страниц.

 

[denis87]

Открываешь любой сайт и дописываешь в пути \robots.txt, и все файлы у в твоей власти, делай с ними чо хочешь =)

А так вот один из моих

User-Agent: *
Disallow:

User-Agent: Googlebot
Disallow: /cgi-bin/
Disallow: /contact_form/
Disallow: /css/
Disallow: /js/
Disallow: /twitter/
Disallow: /webstat/
Disallow: /bases/

User-Agent: Yandex
Disallow: /cgi-bin/
Disallow: /contact_form/
Disallow: /css/
Disallow: /js/
Disallow: /twitter/
Disallow: /webstat/
Disallow: /bases/

User-agent: Mail.Ru
Disallow: /cgi-bin/
Disallow: /contact_form/
Disallow: /css/
Disallow: /js/
Disallow: /twitter/
Disallow: /webstat/
Disallow: /bases/

Host: ***.ru

Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

 

[kolhoz]

# If the Joomla site is installed within a folder
# eg Для просмотра ссылки Войди или Зарегистрируйся then the robots.txt file
# MUST be moved to the site root
# eg Для просмотра ссылки Войди или Зарегистрируйся
# AND the joomla folder name MUST be prefixed to all of the
# paths.
# eg the Disallow rule for the /administrator/ folder MUST
# be changed to read
# Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# Для просмотра ссылки Войди или Зарегистрируйся
#
# For syntax checking, see:
# Для просмотра ссылки Войди или Зарегистрируйся

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

 

[denis87]

# If the Joomla site is installed within a folder
# eg Для просмотра ссылки Войди или Зарегистрируйся then the robots.txt file
# MUST be moved to the site root
# eg Для просмотра ссылки Войди или Зарегистрируйся
# AND the joomla folder name MUST be prefixed to all of the
# paths.
# eg the Disallow rule for the /administrator/ folder MUST
# be changed to read
# Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# Для просмотра ссылки Войди или Зарегистрируйся
#
# For syntax checking, see:
# Для просмотра ссылки Войди или Зарегистрируйся

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

допиши в своем роботе имя хоста и путь к файлу карты сайта, так робот поисковых систем быстрее будет все находить на твоем сайте

Host: ***.ru

Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

 

[kira1992]

У меня robots.txt стандартный, но я еще добавляю туда:
Allow: /*.css?*$
Allow: /*.js?*$
Allow: /*.jpg?*$
Allow: /*.png?*$
Disallow: /index.php
Sitemap: httр://mysite.com/sitemap.xml

User-Agent: Googlebot

User-Agent: Yandex

А зачем копировать одно и то же для разных поисковых систем и только менять название поисковика?

Disallow: /css/
Disallow: /js/

И зачем скрывать стили? Вы знакомы с рекомендациями поисковиков по поводу файла robots.txt?
Насколько я знаю css и js скрыть не рекомендуется. Но я не эксперт в этом вопросе, поэтому было бы неплохо услышать и мнение других.

 

[denis87]

У меня robots.txt стандартный, но я еще добавляю туда:
А зачем копировать одно и то же для разных поисковых систем и только менять название поисковика?

И зачем скрывать стили? Вы знакомы с рекомендациями поисковиков по поводу файла robots.txt?
Насколько я знаю css и js скрыть не рекомендуется. Но я не эксперт в этом вопросе, поэтому было бы неплохо услышать и мнение других.

Смысл в том что бы приветствовать роботов и направлять только по тем местам куда мне нужно. css и js там никакой семантики моего сайта нету, и делать им там нечего.