Отказоустойчивый двухузловой кластер

Горбушка

Ищу её...
Регистрация
2 Май 2008
Сообщения
3.444
Реакции
2.524
И так, задача очень простая для профи: необходимо построить отказоустойчивый кластер на базе Linux Debian (возможно на другой, не суть). Обязательным условием является наличие двух мастеров.

Коротко:
Нужно для самообучения собрать кластер с дублированием всех узлов, включая мастер. Собирать буду дома на виртуалках, систему виртуализации тоже можно посоветовать.
Почему? Требуется именно отказоустойчивая система, при которой выход из строя любого узла, включая мастера, никак не должно отразиться на работе всей системы.

В целом, запаралелить MySQL не составляет труда, файловые сервера тоже параллелятся не так сложно. Ноды наставляются в неограниченном количестве уже давно и тоже весьма легко делается... Всё это описано во множестве мануалов, никаких трудностей быть не должно...

Теперь суть проблемы: 2 мастера. Собственно интересует вопрос: как сделать 2 мастера и заставить работать параллельно? ДНС-балансировка? С помощью CISCO на входе? Каким-то ПО? Вот тут я встал просто в ступор...

Нужно пару мануалов по сбору кластеров с двумя мастерами, при этом чтобы они трудились параллельно, в случае выхода из строя одного - второй брал на себя 100% нагрузки. Нашёл пока только мануал по созданию "beckup master node", т.е. в случае выхода из строя одного - второй включается на его место... Не рационально, т.к. оплачивать лишний сервер, который 99% времени будет лежать в выключенном состоянии - не вариант.

Вопрос возник именно в параллелизации, т.к. ДНС-балансировка даёт псевдо-произвольный выбор мастера. Если один сдох, на него продолжат поступать запросы и 50% клиентов не получат ответ. По - не знаю, не общался, CISCO - тоже не очень хорошо, в ДЦ за это не погладят...

В общем, как?

P.s. в процессе написания заметил маленькую багу - ноды, мускул и файловики тоже выбираются произвольно, в случае отказа часть клиентов не получат ответ - как фиксить?

P.p.s. собираю тестово для самообучения на базе виртуалок. Панельку желательно использовать ISPmanager Cluster.

P.p.p.s. систему виртуализации тоже можно посоветовать, т.к. в virtual box всю схему кластера не поставишь - приходится каждому давать реальный IP...
 
плюсстопицот, подписываюсь на тему, самому очень интересно.

я сам лично не делал такого, чувствую - еще не готов морально.
направление в котором я рою ( и хочу попробовать первым )
Для просмотра ссылки Войди или Зарегистрируйся + Для просмотра ссылки Войди или Зарегистрируйся
сетевой отказоустойчивый сторейдж.

В любом случае, я советую (если ноды на юникс-системе) - посмотреть в сторону CARP Для просмотра ссылки Войди или Зарегистрируйся и HAST Для просмотра ссылки Войди или Зарегистрируйся
Если же планируется делать что-то под виндовс-системы - вероятно тебе подойдет StarWind Для просмотра ссылки Войди или Зарегистрируйся
систему виртуализации - hyper-v 2008\2012, потому что под ESXi 5.0/5.1 для того что бы заставить работать carp-интерфейс надо будет кое-где править конфиг.

1) Извините за сумбурные советы, что-то не могу собрать мысли в кучку...
2) как обычно, прошу не банить
 
devotum, речь в любом случае об Linux в связке nginx, Apache, PHP, MySQL... Ну и все сопутствующие компоненты...

Опять таки, нужен именно мануал "HOW TO", ибо опыта сборки кластеров пока нету... Разве что выноса каких-то элементов за пределы базового сервера, но это делалось встроенными средствами Linux Debian...

Дело в том, что я не представляю как эта шняга вообще работает и кем и как управляется... Так что буду рад любой литературе для чайников. Желательно именно литературы, ибо объяснять это долго и нудно, не смею Вас заставлять...

Под литературой я понимаю мануалы в несколько листов А4. Хотя, от полноценных книжек я тоже не откажусь...

Виртуализация нужна только чтобы тестировать эту всю систему на виртуальных машинах, ибо такого количества железок свободных у меня нету... Т.е. нужен аналог Virtual Box, на котом можно собрать структуру кластера и потестировать выход из строя компонентов...

P.s. теме плюсанул, а "мне нравится" не жмякнул - вот так всегда...

Тема прочищена, спасибо BIZON'у.


Теперь для тупых:

Мастер сервер имеет сервисы:
SSH, FTP, DNS, почтовые сервисы, планировщик, ISPmanager, nginx
На нодах стоят:
Apache, PHP и прочее ***но
На Storage стоит
NFS файловое хранилище
Дополнительно прицеплено 2 сервера MySQL, между которыми налажена репликация..

Как оно должно работать:
1) Поступает запрос на чтение на мастер - он передаёт его некому ноду (из доступных), который забирает данные с доступного Storage и доступного MySQL.
2) Поступает запрос на запись на мастер - он передаёт это на один из доступных нодов, который пишет данные на все доступные Storage и доступные MySQL.

Всё это реализуется стандартными функциями ISPmanager cluster, делается по их мануалу: Для просмотра ссылки Войди или Зарегистрируйся

Вопрос конкретный: КАК СДЕЛАТЬ 2 МАСТЕРА?

В прочем, тема уже не актуальна. Ответ получил в ДЦ - делается через CISCO, которая проверяет оба мастера на доступность и передаёт запрос на произвольный из них...

Теперь остаётся вторая часть вопроса: посоветуйте виртуализацию под винду (для дома), на которой можно собрать сеть под кластер. Т.е. которая позволяет создавать 2 интерфейса и "втыкать" кабеля не в общий хаю, а друг в друга...

P.s. обсуждение "Что такое кластер" и т.д. - в гугле, тут обсуждаем ТОЛЬКО отказоустойчивые ДВУХУЗЛОВЫЕ кластеры, а не "Как я собирал одноузловой кластер"...

Оставшиеся вопросы в теме:
  1. На какой виртуализации для дома можно собрать схему кластера
  2. Каким ПО определять отказ одного из устройства и перенаправлять запросы на другое
  3. Как поставить второй мастер (делать балансировку между мастерами с учётом отказа одного мастера)
 
попробуй hyper-v
статьи по теме:
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся

в кратце: есть минимум две ноды и одна СХД. Если одна из нод выходит из строя, то работает другая.
в статьях речь идет о 2008, на сегодняшний день последнее решение 2012. На сайте мелкомяких можно спокойно скачать и побаловаться(раньше точно можно было, сейчас не знаю, т.к. качаю все по подписке...)
 
yavasilek, увы, опять не в тему... Речь не о нодах, а о мастерах... И вторая проблема - речь о linux хостинге...
Но всё равно спасибо, почитаем...
 
а я топлю за Для просмотра ссылки Войди или Зарегистрируйся - на ней можно реализовать всё, что перечислено. я бы делал так, если не мучают угрызения совести по вопросам лицензирования. из интересных моментов - Fault Tolerance. Для просмотра ссылки Войди или Зарегистрируйся.
 
а я топлю за Для просмотра ссылки Войди или Зарегистрируйся - на ней можно реализовать всё, что перечислено. я бы делал так, если не мучают угрызения совести по вопросам лицензирования. из интересных моментов - Fault Tolerance. Для просмотра ссылки Войди или Зарегистрируйся.

можно ставить тогда не роль hyper-v в составе windows 2008, а hyper-v server(распространяется бесплатно). hyper-v server представляет собой урезанную версию MS server 2008 R2 в режиме Core (т.е. фактически, графический интерфейс отсутствует) с установленной ролью hyper-v и ничего более

но т.к. речь идет о linux хостинге - я удаляюсь :beer:
 
Знаешь, у меня как-то не укладывается в голове отказоустойчивые системы и "Дневник сетевого администратора" с UBUNTU, которую проклянают все сис. админы, как спиленную школотой на коленках для таких же школьников... Пакеты в неё добавляются потому что пятка чешется... Так что даже искать на этом сайте не хочется про отказоустойчивые системы, кою на убунте поднять невозможно...

Сайт больше похож на помойку из всего подряд, чем на осмысленные статьи профи...
 
ну если так судить то хабрахабр еще большая помойка а лор вобще ужас :)
ну а кто вам мешает собрать тоже самое на дебиане или сентоси?
на сайте приведена аналогия как настраивать, а дальше уже извините...для всех ос описать процесс?
Вкрай можно собрать из сырцов. или уже разленились?

даю подсказку DRBD + heartbeat

и получается отказоустойчивый кластер , настраивается за 1 час


вчера баловался с кластеризацией, тем самым isp manager кластер, именно кластеризовал мастера, так каких либо проблем не увидел , 2 мастера, примонтированные папки, если валится первый мастер его функции берет второй,
 
Назад
Сверху