Сложные вопросы по robots.txt

[Alex]

У Яндекса имеется анализатор правильности составления robots.txt:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Germango]

+ на мой взгляд хороший сервис по составлению файла robots.txt есть на

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

в разделе "Инструменты". Сам им часто пользуюсь