Разрешение только для яндекса в роботсе

Статус
В этой теме нельзя размещать новые ответы.

xumukys

Гуру форума
Регистрация
16 Ноя 2008
Сообщения
505
Реакции
94
вообще как сделать так, что бы сайт открыть только яндексу?

Прокатит ли такой роботс.тхт или эе все таки сайт будет запрещен и для яндекса тоже?



User-agent: Yandex
Disallow:
Crawl-delay: 7

User-agent: *
Disallow: /

А то на сетки саттелитов нападают много левых ботов, делая работу сервака нестабильной, спасите!!!
 
Забанить гугла и прочих по айпи:)
 
Ха-ха, а вы точно знаете IP-гугла и всех остальных?
 
Ну если роботы не поисковые, то навряд ли Вам это поможет.

Может быть стоить попробовать посмотреть на все это с другой стороны? Например, увеличить параметр Crawl-delay: 7 ? Хотя я не могу дать гарантии, что этот параметр исполняют все поисковые системы.
 
Уж на совсем крайний случай)
Можно прописать в htaccess вот такие строчки
Order Deny,Allow
Deny from all
Allow from 213.180
Allow from 87.250
Allow from 77.88
Allow from 93.158
Allow from 95.108
разрешение на посещение только из подсетей из которых ходит яндекс.
Ну и надо добавить еще те ип которые вам лично будут надо, по другому лишних роботов отсечь нереально.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху