Странный robot.txt

[Rastafan]

Вот нашел на нескольких дорах такой роботс:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Что это - мега кривые руки иль новая "тема"?

 

[pslava]

Это скорее всего кто-то ошибся с названием файла, для роботса есть стандартный набор правил что там должно быть

 

[dregore]

Или, как видно из текста, скорее всего robots.txt нет на хостинге. А в правилах сервера прописано выдавать на найденный документ нативный файл 404 ошибки. Вот собственно он и выдался.

 

[s2s]

Или, как видно из текста, скорее всего robots.txt нет на хостинге. А в правилах сервера прописано выдавать на найденный документ нативный файл 404 ошибки. Вот собственно он и выдался.

Ерунда, есть стандартный набор правил robots.txt и это бот посчитает как ошибку в файле роботс. Видимо просто ошибка дорвейщика...или новая тема )))

 

[SolutionFix]

Блин, та 404 страница просто выдается. Скопируй ее в блокнотик, сохрани с расширением html и посмотри браузером