Сложные вопросы по robots.txt

[blacks]

Почитал урок по работе с robots.txt
Ссылка:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

(спасибо BBnics)И немного запутался:

1.

Переход на следующую строку определяется спецсимволами CR,CR+LF, LF.

- как понять эти символы, как они выглядят, как их добавить?
(работаю в WeBuilder 2008)

2.

Стоит заметить, что пустых строк robots.txt содержать не должен, обратите на это внимание, так как это одна из наиболее допустимы ошибок при составлении файла.

- но при этом во всех примерах есть пустая строка-разделитель
для перехода для параметров следующего блока настроек, для
другого бота

3.
в какой кодировке сохранять файл robots.txt? - сейчас сохраняю в UTF-8


4.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

- такой "скрипт" приемлемен для robots.txt ?
- необходимо чтоб поставить директиву "хост" для яндекса
- почитал топик на серче но о возможностях работы с SSI в robots.txt так и не понял

Подскажите пожалуйста.
Спасибо.

 

[BBnics]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Можно использовать любой текстовый редактор. Это должен быть текстовый файл с кодировкой ASCII, а не файл HTML. При вводе названия файла следует использовать нижний регистр.
Вот сайт, которіе полностью посвещен файлу robots.txt, там же есть и наболее частые ошибки -

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Да и не заморачивайтесь так с этим файлом, у многих сайтов до сих пор нету его. но вот если что-то запретить надо для индекса, то тогда надо сделать его.
Пользуйтесь норм редактором для редактирования и создания файла роботс, например notepad++.

 

[blacks]

*** скрытое содержание ***
Можно использовать любой текстовый редактор. Это должен быть текстовый файл с кодировкой ASCII, а не файл HTML.

Ответили только про кодировку. Спасибо

Представленный вами сайт прочел еще до создания вопроса.
По остальным вопросам не поможете?

 

[porsche2]

я попытаюсь быть кратким

так выглядит robots.txt, доверять источнику можно

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

если в robot.txt есть пустая строка, то это не страшно, боты все понимают, пустой строкой разделяют для себя чтобы в глазах не рябило.

<!--#if expr=" \"${HTTP_HOST}\" != \"www.главное_имя.ru\" " -->
User-Agent: *
Disallow: /
<!--#endif -->

Это SSI, оно вам зачем? Лень что-то писать руками?

Чтобы это работало, нужно чтобы SSI обрабатывал txt файлы,

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Хост для яндекса пишется так:
Host: site.com

 

[blacks]

Это SSI, оно вам зачем? Лень что-то писать руками?
*** скрытое содержание ***

Хост для яндекса пишется так:
Host: site.com

Спасибо.
SSI хотел чтоб автоматом хост добавлять... но с другой стороны можно и ручками. С "полуавтоматом" всегда удобней работать. Подумаю над этим
вопросом.

 

[PHP_Master]

Переход на следующую строку определяется спецсимволами CR,CR+LF, LF.
- как понять эти символы, как они выглядят, как их добавить?

Это символы с кодами 10 и 13, они же "\r" и "\n".
Добавляются нажатием клавиши "Enter" (в какой последовательности, зависит от OS).

 

[blacks]

Это символы с кодами 10 и 13, они же "\r" и "\n".
Добавляются нажатием клавиши "Enter" (в какой последовательности, зависит от OS).

Понял. Специально ничего выводить не нужно. Просто перевод строки при
помощи кнопки Enter ?

(PS: PHP_Master - вы мой спаситель )

 

[PHP_Master]

Специально вводить надо если файл формируешь программно (хотя можно обойтись и без этого).
А если руками, то просто нажатие клавиши "Enter".

 

[blacks]

Блин...
Продолжаю лазить по инету и изучать robots.txt
Всетаки некоторые делают/советуют делать в кодировке utf-8 !?

Кстати вот один из примеров-статьи

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Пример гугла - utf-8 или utf-8 with BOM

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

+ Вопрос: какой CHMODE лучше поставить файлу robots.txt?

 

[PHP_Master]

Всетаки некоторые делают/советуют делать в кодировке utf-8

Имхо по барабану.

какой CHMODE лучше поставить файлу robots.txt?

644 - если делаешь файл ручками и заливаешь по FTP.