Александр Мутовин
06.11.2019
1289

Сборка кластера на Centos 7 с использованием распределённого реплицируемого блочного устройства DRBD

В этой статье мы соберем кластер на дистрибутиве Centos 7 с использованием пакета Pacemaker. Сборка из исходников DRBD описывается в этой статье. Настройка реплицируемого блочного устройства описывается в статье по этой ссылке. Для полноценной работы кластера одного DRBD не достаточно, должен быть механизм мониторинга состояния блочных устройств, процессов, сервисов, состояние работы самой операционной системы, сети […]

В этой статье мы соберем кластер на дистрибутиве Centos 7 с использованием пакета Pacemaker.

Дстрибутив будем использовать CentOS-7-x86_64-Minimal-1908 и DRBD версии 9.

Для полноценной работы кластера одного DRBD не достаточно, должен быть механизм мониторинга состояния блочных устройств, процессов, сервисов, состояние работы самой операционной системы, сети ит.д. Также должен быть механизм репликации диска на другую ноду в случае отказа первой. Также в некоторых случаях используется один общий виртуальный ip адрес на нодах для возможности функционирования кластера как единая система. Этими функциями DRBD не занимается.

Нода это единица кластера. Простыми словами это один из серверов входящий в кластерную систему. Их может быть произвольное количество

Вышеописанными задачами занимается Pacemaker – менеджер ресурсов кластера.

Pacemaker состоит из 5 ключевых компонентов:

  1. CIB – Cluster Information Base это база данных которая содержит конфигурацию кластера и состояние ресурсов кластера. Сама база данных храниться в файле в формате XML
Отдельно редактировать файл ни в коем случае нельзя, редактирование происходит с помощью самого pacemaker. Иначе вы рискуете остаться без рабочего кастера.

2. Stonithd – это механизм, который позволяет кластеру выключать, перезагружать, включать узлы кластера сети если узел не отвечает, то его ресурсы передаются другой ноде, или если ресурс дал сбой он отключается от общего кластера для предотвращения сбоя всего кластера.

3. PEngine – механизм политики. Он рассчитывает идеальное состояние кластера. Если какой либоо механизм дал сбой, PEngine сделает перерасчет механизма работы всего кластера и передаст его в CRMd

4. CRMd – демон управления ресурсами кластера. PEngine выбирает CRMd на какой-то одной ноде. В случае сбоя забочей ноды с CRMd быстро назначается новая нода как главная. Главная CRMd получает инструкции от PEngine и передает их в требуемом порядке или LRMd (демон локального управления) или одноранговым CRMd на других нодах, а те в свою очередь LRMd своего локального процесса.

5. LRMd – демон управления локальными ресурсами который исполняет полученные инструкции от CRMd на локальной машине, а также передает обратно результат их выполнения.

Главный CRMd называется DC (Designated Controller) – назначенный контроллер
Ключевые компоненты из которых состоит Pacemaker
Ключевые компоненты из которых состоит Pacemaker

Для правильной работы кластера нам необходимо иметь по 2 сетевых интерфейса в каждой ноде. По первому интерфейсу будет связь с общей сетью, а через второй интерфейс ноды будут обмениваться служебной информацией.

Также  нужно настроить имя хостовой машины и DNS для общения серверов по имени

Построить кластер можно только с использованием имен. По ip адресам настроить не получится.

Исходные параметры первой ноды

Первый интерфейс 192.168.32.20 (доступ в локальную сеть)

Второй интерфейс 10.10.10.1 (интерфейс для общения нод)

Имя хоста ha1

Исходные данные второй ноды:

Первый интерфейс 192.168.32.19 (доступ в локальную сеть)

Второй интерфейс 10.10.10.2 (интерфейс для общения нод)

Имя хоста ha2

Для изменения имени хоста без перезагрузки сервера воспользуемся утилитой hostnamctl

# hostnamectl set-hostname ha1 – выполняем на первой ноде.

# hostnamectl set-hostname ha2 –выполняем на второй ноде.

После указания имени хоста необходимо в файле /etc/hosts прописать Ip адрес и hostname противоположных атс.

На первой ноде добавляем

10.10.10.2 ha2

На второй ноде добавляем

10.10.10.1 ha1

Пример файла /etc/hosts со второй ноды.
Пример файла /etc/hosts со второй ноды.

Далее необходимо проверить корректность введенных данных пропинговав друг друга по имени хоста.

# ping ha1 – на второй ноде

# ping ha2 – на первой ноде

Результат должен быть как на скриншоте (пример с одной ноды):

пинг со второй ноды.
пинг со второй ноды.

Перед наxалом установки убедитесь, что отключен SELINUX

Проверка статуса Selinux
Проверка статуса Selinux

Если Selinux включен, отобразится следующее сообщение:

Включенный Selinux
Включенный Selinux

Для выключения Selinux необходимо в конфигурационном файле /etc/selinux/config прописать SELINUX=disabled

Отключение Selinux
Отключение Selinux

Далее приступим к установке необходимых пакетов для сборки кластера:

# yum install –y pacemaker pcs resourse-agent corosync

Где pacemaker описан выше, менеджер ресурсов кластера. Он позволяет использовать службы и объекты в рамках одного кластера из двух или более нод.

Resource-agent – этот пакет содержит агенты ресурсов(набор скриптов) кластера (RA), соответствующие спецификации Open Cluster Framework (OCF), используемые для взаимодействия с различными службами в среде высокой доступности, управляемой менеджером ресурсов Pacemaker.

Corosync – информационный уровень. программный продукт, который позволяет создавать единый кластер из нескольких аппаратных или виртуальных серверов. Corosync отслеживает и передает состояние всех участников (нод) в кластере.

Этот продукт позволяет:

  • мониторить статус приложений;
  • оповещать приложения о смене активной ноды в кластере;
  • отправлять идентичные сообщения процессам на всех нодах;
  • предоставлять доступ к общей базе данных с конфигурацией и статистикой;
  • отправлять уведомления об изменениях, произведенных в базе.

Pcs – pacemaker/corosync configuration system. Утилита для управления, настройки и мониторинга кластера. Управляется как через командную строку, так и через веб интерфейс.

Также кластер можно настроить без pcs. Но тут будет немного сложнее, т.к. все остальные утилиты придется настраивать вручную. Pcs берет все на себя

На следующем этапе необходимо отключить фаервол на время, после сборки кластера в фаевол надо обязательно включить и прописать необходимые порты.

# systemctl stop firewalld
# systemctl disable firewalld
Отключение и остановка фаервола
Отключение и остановка фаервола

На следующем этапе запустим на обеих нодах pcs демон:

# systemctl start pcsd
# systemctl enable pcsd
Запуск pcs службы
Запуск pcs службы

После установки pcs на обоих нодах будут созданы пользователи «hacluster»

С помощью этих учеток ноды будут «общаться между собой». Зададим для них новые сложные пароли:

# passwd hacluster
создание пароля для учетной записи hacluster
создание пароля для учетной записи hacluster

Далее с помощью pcs авторизуемся на обоих нодах:

# pcs cluster auth ha1 ha2

После удачной авторизации выведется следующее сообщение:

Авторизация на всех нодах с помощью pcs
Авторизация на всех нодах с помощью pcs

На следующем шаге создаем кластер:

# pcs cluster setup –name voxlinkcluster ha1 ha2

Эта команда создаст кластер, автоматически сгенерирует конфигурационный файл corosync.

После успешного создания кластера его необходимо запустить следующей командой:

# pcs cluster start –all
Запуск кластера.
Запуск кластера.

Как видно из скриншота, запускается corosync и pacemaker.

На этом установка и первоначальная настройка кластера завершена. В следующей статье мы поговорим про управление, мониторинг кластера.

 
avatar
  Подписаться  
Уведомление о

Остались вопросы?

Я - Першин Артём, менеджер компании Voxlink. Хотите уточнить детали или готовы оставить заявку? Укажите номер телефона, я перезвоню в течение 3-х секунд.

VoIP оборудование

ближайшие курсы

ближайшие Вебинары

ONLINE

Why Choose HUGE?

Unlimited pre-designed elements

Each and every design element is designed for retina ready display on all kind of devices

User friendly interface and design

Each and every design element is designed for retina ready display on all kind of devices

100% editable layered PSD files

Each and every design element is designed for retina ready display on all kind of devices

Created using shape layers

Each and every design element is designed for retina ready display on all kind of devices