robot.txt возможные ошибки

[d0ublezer0]

привет
яндекс считает ошибочными директивы:
25 Disallow: /*by,product_price* Возможно, был использован недопустимый символ
27 Disallow: /*by,ordering* Возможно, был использован недопустимый символ
28 Disallow: /*by,product_in_stock* Возможно, был использован недопустимый символ
29 Disallow: /*by,pc.ordering,product_name* Возможно, был использован недопустимый символ

Что не нравится Яндексу? Как их исправить?
Это страницы с результатами сортировки

 

[cocs]

Ругается на наличие запятых в адресе.

 

[KomandorZS]

Ругается на наличие запятых в адресе.

Читал на разных форумах про robot.txt одни пишут что он обязательно нужен, другие пишут что он нафиг не нужен. Подскажите мнение как он влияет на поисковую выдачу и влияет ли вообще ? Что точно стоит скрыть от роботов а что не надо трогать ? Толкового манула так и не нашел. Просветите )

 

[cocs]

Читал на разных форумах про robot.txt одни пишут что он обязательно нужен, другие пишут что он нафиг не нужен. Подскажите мнение как он влияет на поисковую выдачу и влияет ли вообще ? Что точно стоит скрыть от роботов а что не надо трогать ? Толкового манула так и не нашел. Просветите )

robot.txt не влияеет на поисковую выдачу, а вот его отсутствие, или не корректное его заполнение - влияет. Это своего рода инструкция по работе с сайтом для ПС, если его не будет, ПС будет индексировать так как она считает нужным, если будет, то она будет принимать во внимание ваши рекомендации.
Что скрывать, а чего не стоит надо смотреть в конкретных случаях. Например в большинстве случаев от ПС скрывают результаты поиска по сайту, а взять ту же OLX, то там наоборот половина выдачи в ПС из этого сайта, построена на выдачи поиска самой доски. Примеры: Для просмотра ссылки Войди или Зарегистрируйся, Для просмотра ссылки Войди или Зарегистрируйся

 

[snail]

В последнее время на одном из сайтов веб мастер постоянно пишет что не может найти robot.txt, хотя он там есть и в не https версии он его отлично видит, после проверки на день нашел, и опять тоже самое. Никто с подобным не сталкивался?

 

[prefer]

В последнее время на одном из сайтов веб мастер постоянно пишет что не может найти robot.txt, хотя он там есть и в не https версии он его отлично видит, после проверки на день нашел, и опять тоже самое. Никто с подобным не сталкивался?

Покажите содержимое файла htaccess

 

[snail]

Options -Indexes
ErrorDocument 404 /404.php
RewriteEngine On
RewriteCond %{HTTPS} off [OR]
RewriteCond %{HTTP_HOST} ^www\.
RewriteRule (.*) https://тут домен/$1 [L,R=301]
RewriteCond %{REQUEST_FILENAME} !robots\.txt
<IfModule mod_php5.c>
php_flag session.use_trans_sid off
#php_value display_errors 1
#php_value mbstring.internal_encoding UTF-8
</IfModule>
<IfModule mod_dir.c>
DirectoryIndex index.php index.html
</IfModule>
<FilesMatch ".(flv|gif|jpg|jpeg|png|ico|swf|js|css|pdf|webm|mp4|woff2)$">
SetOutputFilter DEFLATE
ExpiresActive on
ExpiresDefault "access plus 1 week"
Header set Cache-Control "private, must-revalidate"
</FilesMatch>
<FilesMatch ".(pl|php|cgi|spl|scgi|fcgi)$">
Header unset Cache-Control
</FilesMatch>

Покажите содержимое файла htaccess

Думаете, тут есть ошибки?

 

[prefer]

Думаете, тут есть ошибки?

RewriteRule (.*) Для просмотра ссылки Войди или Зарегистрируйся домен/$1 [L,R=301]
RewriteCond %{REQUEST_FILENAME} !robots\.txt

Попробуте так
RewriteCond %{REQUEST_FILENAME} !robots\.txt
RewriteRule (.*) Для просмотра ссылки Войди или Зарегистрируйся домен/$1 [L,R=301]

 

[vanich]

Читал на разных форумах про robot.txt одни пишут что он обязательно нужен, другие пишут что он нафиг не нужен. Подскажите мнение как он влияет на поисковую выдачу и влияет ли вообще ? Что точно стоит скрыть от роботов а что не надо трогать ? Толкового манула так и не нашел. Просветите )

Нужен, в т.ч. чтобы не отдавать поисковику дубли контента, иначе фильтр и плохое ранжирование.