Закрыть сайт от индексации

Проще и правильнее всетаки через робот и дождаться следующего апа, как правило из выдачи все вылетает.
 
У вас в примере уже все правильно указано, если этот роботс открывается у вас по ссылке вашдомен.ру/robots.txt, то нужно подождать несколько заходов ботов пс на сайт и они выкинут все из индекса.
 
Disallow в robots.txt достаточно. Яндекс чего-то просто медленным стал. Да и был не особо скоростным.
 
Чтобы гугл не подхватывал, наверное, стоит закрыть доступ для всех ip, кроме своего. Ну и роботс верный составить (должен быть только 1 корне! ).
Хотя, можно и не закрывать, если посещалка маленькая.
Единственная проблема - если сайт в процессе разработки, то могут быть дыры и боты могут взломать.
Поэтому я бы советовал закрыть доступ по ip, пока сайт не доделан.
Судя по логам на моем серваке - "плохих" ботов всегда более чем достаточно....
 
audit-saitov001 написал(а):
Поэтому я бы советовал закрыть доступ по ip, пока сайт не доделан.
Нажмите для раскрытия...
Прописать в .htaccess:
<Limit GET HEAD POST>
Order Deny,Allow
Allow from XX.XX.XX
Deny from all
</Limit>
вместо XX.XX.XX - свой ip
так?

Лучше так:
<Limit GET HEAD POST>
Order Deny,Allow
Deny from all
Allow from .....
</Limit>

Или так:
Order Deny,Allow
Deny from all
Allow from .....

Order ..... - тут лучше писать дени/аллоу в том порядке, в каком они идут далее, в том, порядке, в каком они должны применяться.
 
Последнее редактирование модератором:
Я например в Joomla админке в основных настройках до запуска проекта савлю
noindex, nofollow, и он автоматом закрывает сайт до запуска.
 
ставишь все в noindex через роботс или метатег, а затем:
Для просмотра ссылки Войди или Зарегистрируйся помогаешь вышвырнуть страницы из индекса
 
Так пробовали
User-agent: *
Disallow: /
 
прописать Disallow: / только в robots.txt не поможет! 100%
лучше всего еще прописать метатег
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху