зеркало для робота

ram222

ram222

Da Vinci
Регистрация
27 Апр 2009
Сообщения
793
Реакции
86
Случилась небольшая беда, похоже в момент обращения робота яши сервер не работал (или глючил) и теперь недоступные в тот момент страницы исключены из поиска... Хотя раньше яша так не делал :mad: .
Есть идея сделать дубль или зеркало на другом сервере , чтобы исключить в будущем эти проблемы. Но как это грамотно сделать не знаю, подскажите.
 
Неужели никто не сталкивался с такой бедой?
Понимаю, что надо просто подождать очередного апа, но хочется исключить такое в будущем.
 
А может проблема не в этом? Были подобные ситуации с одним сайтом. В общем, если затык с сервером, то серверные ошибки и должны выдаваться, например 504, но никак не 404. И при 504 ошибке, паук просто должен вернуться через какое-то время для повторной проверки. А зеркалировать можно, проблема только будет в синхронизации копий, если ресурс высокопосещаемый и частообновляемый. И потом я сталкивался на разных хостингах и с другими проблемами, яндекс периодически меняет IP пауков в рамках борьбы против клоакинга, и не всегда сообщает новые айпишники хостингам и те блочат робота за высокую нагрузку, было 2-а таких случая на мастерхосте и на наунете - пару лет назад, вроде потом бывало ещё на других - тогда сотни сайтов страдали. Т.е. тут как быть, если даже не будешь знать что паук посещал тебя, поймёшь когда страницы повылетают и письмо в саппорт напишешь.
 
Вы уверены, что причина выпадения страниц именно в неработоспособности Вашего сервера? Проверьте в Я.Вебмастере в разделе "Исключённые страницы" - "По типу". А сделать зеркало не проблема, достаточно в robots.txt прописать директиву Хост, только я пока не очень представляю как сделать так, что в случае неработоспособности основного сайта выдавалось зеркало.
 
gangsta-rap написал(а):
А сделать зеркало не проблема, достаточно в robots.txt прописать директиву Хост
Нажмите для раскрытия...
эта директива нужна для того чтобы сообщить яндексу какой из зеркальных доменов главный. А ТС, спрашивает о зеркальных серверах, т.е. при неработоспособности одного должен подключаться другой автоматом - а домен один. Поэтому host идёт лесом. Тут задача более сложная.
 
gangsta-rap написал(а):
Вы уверены, что причина выпадения страниц именно в неработоспособности Вашего сервера? Проверьте в Я.Вебмастере в разделе "Исключённые страницы" - "По типу". А сделать зеркало не проблема, достаточно в robots.txt прописать директиву Хост, только я пока не очень представляю как сделать так, что в случае неработоспособности основного сайта выдавалось зеркало.
Нажмите для раскрытия...
В вебмастере страницы исключены из за того что были недоступны "Для просмотра ссылки Войди или Зарегистрируйся".
 
Кстати по дублированию информации. Можно использовать NLB-кластеры, вот статья на эту тему: Для просмотра ссылки Войди или Зарегистрируйся Или прописать в DNS разные IP, вот тут об этом говорится: Для просмотра ссылки Войди или Зарегистрируйся
 
Есть два подхода.
1) использовать так называемый round robin метод. Подробнее тут - Для просмотра ссылки Войди или Зарегистрируйся
2) Использовать свой промежуточный load balancer сервер.
 
Если Вы хотите сделать только для Яши, а не для посетителей, то как только начинаются глюки, отсеиваете пользовотелей по ряду факторов, а поисковых ботов оставляете. Это существенно снизит нагрузку.
А со вторым IP для поисковиков вряд ли получится, так как у них очень ценно время ответа, а при недоступности первичного ДНС сервера время уже будет секунд 15.
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху