Помощь Поделитесь вашими Robots.txt

открыл индексацию скриптов, что бы робот мог спокойно индексировать картинки в разрешении из всплывающих окон галереи. Это вообще нормально так делать?
User-agent: *
sitemap: Для просмотра ссылки Войди или Зарегистрируйся
Disallow: /administrator/
Disallow: /bin/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/
Disallow: /templates/
Disallow: /components/
Disallow: /index.php?
Disallow: /404
Disallow: /*user/
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /*=rss
Disallow: /*=atom
Disallow: /*=remind
Disallow: /*.html
Disallow: /galereya
Disallow: /40-category
Disallow: /component/users/
Allow: /*js
Allow: /*css
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Allow: /images/
Host: graffitidecor.ru
 
Код: 
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /component/users/
Disallow: /search/*
Disallow: /videogalereya/
Disallow: *html?start
Disallow: *html?task=view
Disallow: /component/search/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /index.php
Disallow: /search.html
Disallow: /?Itemid
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /*=items
Disallow: /*id=
Disallow: /*Itemid

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /component/users/
Disallow: /search/*
Disallow: /videogalereya/
Disallow: *html?start
Disallow: *html?task=view
Disallow: /component/search/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /index.php
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /index.php?
Disallow: /index.html

sitemap: https://тут домен/Sitemap.xml
host: https://тут домен


у меня такой
 
Код: 
User-agent: *
Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*

Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/

Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /price/
Disallow: /email/
Disallow: /tmp/
Disallow: /*start=

Host: https://САЙТ
Sitemap: https://КАРТА САЙТА

Есть еще олдскульный чекер карты сайта,
Для просмотра ссылки Войди или Зарегистрируйся
 
Disallow: /installation/ - это то, что можно смело убирать из роботсов на Joomla, так как после инсталляции эта папка должны быть удалена с сайта физически, иначе он не запустится.
 
Я обычно открываю доступ к папкам /media/ и /templates/
Это улучшает показатель доступности мобильной версии в PageSpeed Insights.
 
User-agent: Yandex
Allow: /templates/*.css
Allow: /templates/*.js
Allow: /templates/*.bmp
Allow: /templates/*.BMP
Allow: /templates/*.gif
Allow: /templates/*.GIF
Allow: /templates/*.jpeg
Allow: /templates/*.JPEG
Allow: /templates/*.jpg
Allow: /templates/*.JPG
Allow: /templates/*.png
Allow: /templates/*.PNG
Allow: /templates/*.otf
Allow: /templates/*.eot
Allow: /templates/*.svg
Allow: /templates/*.ttf
Allow: /templates/*.woff
Allow: /templates/*.woff2
Allow: /cache/*.js*
Allow: /cache/*.css*
Allow: /cache/*.bmp
Allow: /cache/*.BMP
Allow: /cache/*.gif
Allow: /cache/*.GIF
Allow: /cache/*.jpeg
Allow: /cache/*.JPEG
Allow: /cache/*.jpg
Allow: /cache/*.JPG
Allow: /cache/*.png
Allow: /cache/*.PNG
Allow: /components/*.css
Allow: /components/*.js
Allow: /media/*.css
Allow: /media/*.js
Allow: /media/*.bmp
Allow: /media/*.BMP
Allow: /media/*.gif
Allow: /media/*.GIF
Allow: /media/*.jpeg
Allow: /media/*.JPEG
Allow: /media/*.jpg
Allow: /media/*.JPG
Allow: /media/*.png
Allow: /media/*.PNG
Allow: /modules/*.css*
Allow: /modules/*.js*
Allow: /plugins/*.css
Allow: /plugins/*.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/uploads/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /*?*

User-agent: Googlebot
Allow: /templates/*.css
Allow: /templates/*.js
Allow: /templates/*.bmp
Allow: /templates/*.BMP
Allow: /templates/*.gif
Allow: /templates/*.GIF
Allow: /templates/*.jpeg
Allow: /templates/*.JPEG
Allow: /templates/*.jpg
Allow: /templates/*.JPG
Allow: /templates/*.png
Allow: /templates/*.PNG
Allow: /templates/*.otf
Allow: /templates/*.eot
Allow: /templates/*.svg
Allow: /templates/*.ttf
Allow: /templates/*.woff
Allow: /templates/*.woff2
Allow: /cache/*.js*
Allow: /cache/*.css*
Allow: /cache/*.bmp
Allow: /cache/*.BMP
Allow: /cache/*.gif
Allow: /cache/*.GIF
Allow: /cache/*.jpeg
Allow: /cache/*.JPEG
Allow: /cache/*.jpg
Allow: /cache/*.JPG
Allow: /cache/*.png
Allow: /cache/*.PNG
Allow: /components/*.css
Allow: /components/*.js
Allow: /media/*.css
Allow: /media/*.js
Allow: /media/*.bmp
Allow: /media/*.BMP
Allow: /media/*.gif
Allow: /media/*.GIF
Allow: /media/*.jpeg
Allow: /media/*.JPEG
Allow: /media/*.jpg
Allow: /media/*.JPG
Allow: /media/*.png
Allow: /media/*.PNG
Allow: /modules/*.css*
Allow: /modules/*.js*
Allow: /plugins/*.css
Allow: /plugins/*.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/uploads/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /*?*

User-agent: *
Allow: /templates/*.css
Allow: /templates/*.js
Allow: /templates/*.bmp
Allow: /templates/*.BMP
Allow: /templates/*.gif
Allow: /templates/*.GIF
Allow: /templates/*.jpeg
Allow: /templates/*.JPEG
Allow: /templates/*.jpg
Allow: /templates/*.JPG
Allow: /templates/*.png
Allow: /templates/*.PNG
Allow: /templates/*.otf
Allow: /templates/*.eot
Allow: /templates/*.svg
Allow: /templates/*.ttf
Allow: /templates/*.woff
Allow: /templates/*.woff2
Allow: /cache/*.js*
Allow: /cache/*.css*
Allow: /cache/*.bmp
Allow: /cache/*.BMP
Allow: /cache/*.gif
Allow: /cache/*.GIF
Allow: /cache/*.jpeg
Allow: /cache/*.JPEG
Allow: /cache/*.jpg
Allow: /cache/*.JPG
Allow: /cache/*.png
Allow: /cache/*.PNG
Allow: /components/*.css
Allow: /components/*.js
Allow: /media/*.css
Allow: /media/*.js
Allow: /media/*.bmp
Allow: /media/*.BMP
Allow: /media/*.gif
Allow: /media/*.GIF
Allow: /media/*.jpeg
Allow: /media/*.JPEG
Allow: /media/*.jpg
Allow: /media/*.JPG
Allow: /media/*.png
Allow: /media/*.PNG
Allow: /modules/*.css*
Allow: /modules/*.js*
Allow: /plugins/*.css
Allow: /plugins/*.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/uploads/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /*?*

Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху