Помощь robots.txt и templates

[AlexSilver]

Гуглил что надо закрывать robots.txt в DLE, постоянно в примерах натыкался на:
...
/templates
...
Возникает вопрос, почему ? Если например у меня там в block.php прописаны ссылки на статичные страницы сайта, получается он у меня их не проиндексирует? И где вообще находятся статичные страницы и сами новости в DLE?

 

[shamantc]

Статические страницы и новости в БД забиты, юзай поиск

 

[AlexSilver]

Искал и по этому форуму... Ну а как насчёт templates и ссылками ? И engine тоже смело можно запрещать?

 

[Hander]

1. Создаем файл robots.txt

2. Самая первая строчка будет выглядеть так: User-Agent: * (знак "*" говорит о том, что все написаные ниже правила будут действительны для всех роботов, но не забывайте, что тут возможны вариации с именами роботов и т.п., мы же создаём общие правила для всех.)

3. Как правило при написании этого файла используется две команды: "Allow: (разрешить) и Disallow: (запретить)". Я начал с "Allow" (с чего начнете вы не принципиально и не будет ошибкой)
Получилось следующее:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Поясню: сначала мы пишем команду на "Разрешить (Allow)", далее пишем свои адреса, в данном случае index.php (главная страница) и далее категории вашего сайта. Опять же тут могут быть вариации... думаю. что суть вы уловили

4. Далее соответственно, пишем правила на запрет индексации ряда разделов вашего сайта, выглядеть это будет примерно так:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

5. После этих нехитрых манипуляций с файлом robots.txt, роботы поисковиков стали индексировать нужные мне разделы и новости моего сайта. Опять же повторюсь, что при написании этого файла возможна масса вариаций и вы должны написать его исключительно по свой сайт.

Вот пример моего robots.txt (можете взять за основу его
=====================

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[E-body]

Не правильное составление robots.txt

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Нет инструкции Allow, есть только Disallow. Файл robots.txt ничего не разрешает, только запрещает! (за исключением googlebot)
_http://robotstxt.org.ru/RobotstxtErrors

Что писать в файл robots.txt

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

_http://www.yandex.ru/robots.txt (как пример)
_http://www.google.ru/robots.txt (что за параметр Sitemap: )

 

[raven4eg]

Спойлер

у гугла, судя по содержанию, роботс.тхт заточен под ихнего же робота и видимо тот понимает такую директиву, как сайтмап, ибо там реально приведены ссылки на карту сайта.

 

[AlexSilver]

Точно, с Allow писать не верно... Так кто нибудь сможет ответить на вопрос, почему в DLE убирают индексацию temlates, ведь именно там прописывают куча ссылок по всему сайту. Лично у меня там больше 60 ссылок на статические страницы сайта. Но всё равно убирают. Конечно понятно что там куча хлама вроде css и другого, но всё же ?

raven4eg не только для гугла прописывают.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[master6681]

Лично у меня там больше 60 ссылок на статические страницы сайта. Но всё равно убирают. Конечно понятно что там куча хлама вроде css и другого, но всё же ?

Вот как раз что хлам вроде css не индексировался и закрывают все что не нужно для поисковика. Не пойму я про какие ссылки вы говорите. У меня тоже куча ссылок в main.tpl лежит. Это не значит что при закрытии /templates они не будут индексироваться.

 

[AlexSilver]

Как я понимаю если в роботс прописано Disallow:/templates/ - то всё что находится в этой папке, включая и main.tpl будет обходиться поисковыми роботами. Как оно будет индексироваться ? Тогда можно и все папки прописать в роботс.тхт, если они будут индексироваться...

 

[vbnm070]

Нет инструкции Allow, есть только Disallow. Файл robots.txt ничего не разрешает, только запрещает! (за исключением googlebot)
_http://robotstxt.org.ru/RobotstxtErrors

Как это нету, читай

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.