Закрыть часть сайта от индексации через .htaccess

[roland76]

Всем привет, хочу установить на сайт каталог ссылок, но не хочу, чтобы он проиндексировался Яндексом, Гуглом и иже с ними.

Допустим, ссылки каталога начинаются с /cat/index.php

Хочу закрыть его обязательно при помощи .htaccess (robots.txt и noindex, nofollow не предлагать )

Какие инструкции нужно прописать в .htaccess для этого?

Заранее спасибо

 

[egor_bulychev]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[roland76]

Спасибо, но немножко не то, ту статью я читал, там как закрыть весь сайт, мне нужно лишь его часть...

 

[egor_bulychev]

что мешает скинуть .htaccess в нужную папку и закрыть ее?

 

[DuvE]

По моему Яша сейчас всё равно лезет везде, закрыто это или нет ему по барабану... или я ошибаюсь?

 

[roland76]

По моему Яша сейчас всё равно лезет везде, закрыто это или нет ему по барабану... или я ошибаюсь?

это навряд-ли, .htaccess закрывает доступ к папке на уровне файловой системы, так что вряд-ли Яша сможет туда пролезть

 

[CheGevara28]

По моему Яша сейчас всё равно лезет везде, закрыто это или нет ему по барабану... или я ошибаюсь?

Лезет и индексирует немножко разные понятия, вы не находите? Если сайт в бане это не значит что боты его не сканирует. Просто его нет в индексе.

хочу установить на сайт каталог ссылок

Хочешь в придачу за помойки и за клоакинг залелететь?

Отфильтровать ботов можно по юзер агенту или по ip адресу.
RewriteCond %{HTTP_USER_AGENT} Yandex|Google

 

[roland76]

Лезет и индексирует немножко разные понятия, вы не находите? Если сайт в бане это не значит что боты его не сканирует. Просто его нет в индексе.
Хочешь в придачу за помойки и за клоакинг залелететь?
Отфильтровать ботов можно по юзер агенту или по ip адресу.
RewriteCond %{HTTP_USER_AGENT} Yandex|Google

Помойку делать не собираюсь, чисто тематические ссылки, цель сделать тематический каталог как здесь:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Заметь, ни одной страницы этого каталога нету ни в индексе ни яндекса ни гугла, подозреваю что этого добились посредством .htaccess (robots.txt смотрел, с ним все ОК, тегов noindex и аттрибута nofollow тоже не заметил)
Уверен бан этому сайту не грозит, т.к. в индекс ничего не вошло.

---------- Post added at 22:33 ---------- Previous post was at 21:25 ----------

Вдогонку возник еще один вопрос:

мой сайт на joomla, url компонента каталога ссылок имеет вид:

/component/option,com_jvle/Itemid,87/layout,links/view,jvle/

Сам компонент находится в папке /components/com_jvle/

я поместил в нее нужный .htaccess, но он не срабатывает.

Как быть в этом случае? Куда поместить .htaccess и что в нем прописать, чтобы боты не смогли пройти по ссылкам вида

/component/option,com_jvle/*