Как исключить из индекса?

[Xack-Root]

Был форум на булке проиндексировался яшей затем по некоторым причинам пришлось снести форум и поставить сайт на дле, но в индексе остались страницы вида сайт.ру/showthread.php?t=18004 как их можно через robots.txt удалить из индекса? Что нужно прописать? Заранее благодарю за ответ.

 

[Lazy_bones]

ну удалить то ты их не удалишь если ты про это

Disallow: /showthread.php

просто правильнее было бы поставить 301 первый редирект на страницы содержащие showthread.php это бы означало, что страница окончательно изменила адрес или удалена и пс сама со временем исключит все страницы форума.
как правильно настроить 301 редирект поищи, там зависит от того какой сервер, поддерживает ли он .htaccess если нет, то редирект можно на php.
Готовых решений много, если уж будут проблемы, то можно даже к хостеру обратиться, мне с ним всегда помогали, чтобы правильно составить.

 

[Xack-Root]

И вот ещё вопрос как на dle исключить из поиска теги? Поговаривают из-за них агс не за горами из-за дубля контента

 

[Lazy_bones]

исключить просто, чтобы они не индексировались в роботс добавить
Disallow: /tags/
и пс просто не будет их индексировать. После в панеле вебмастера, хоть гугла, хоть яндекса, вы сможете посмотреть страницы, которые у вас закрыты в роботс от индексации и теги там также будут.
Я на своих варезниках также закрываю теги.

 

[Xack-Root]

А там же в роботсе надо перед этим сайт прописывать ещё что-то на сколько помню, пришли если не трудно полностью содержимое этого файла.

 

[Lazy_bones]

примерное содержание, которое я ставлю у себя

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

страницы админки и бекапа не ставлю здесь, так как их адреса делаю отличными от стандартных, тем самым не к чему их тут палить. А пс авторизовываться не умеет, так что ей они неподвластны. Также у гугла ставлю ссыль на xml карту, яндексу такая карта не нужна, для него ставлю модуль карты и делаю html карту для яндекса.

 

[swer]

Lazy_bones

А зачем дублировать? яндекс отлично понимает
User-agent: *

 

[Lazy_bones]

А зачем дублировать? яндекс отлично понимает
User-agent: *

это просто шаблон, для яши еще добавляю свое в зависимости от настройки и модулей. Бывает также, на сайтах со сложной структурой метки закрываю от всех кроме яндекса, так как яндекс суровее всех к ним может отнестись. В основном опирался на топовые варезники, там сделано аналогично.

 

[hoopeer]

В основном опирался на топовые варезники, там сделано аналогично.

Я считаю, что ОЧЕНЬ важно для поисковиков отдавать в роботсе команды по отдельности для каждого поисковика. Это как если поздороваться с каждым по отдельности или сказать привет один раз для всех. Приятнее по отдельности, как я думаю.

Сравнил свой роботс и тот, что тут предлагается.

Я ещё закрываю вот эти разделы от индексации:
Disallow: /*userinfo
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /index.php?do=rules
Disallow: /index.php?subaction=userinfo
Disallow: /upgrade/
Disallow: /*rss
Disallow: /language/
Disallow: /go.php*

 

[PavelBr]

И сюда зайти не забудь:

jabbaxatt - Ссылки не забываем убирать под хайд! См. правила.