Метрокластер iSCSI multipath¶
Пользователь системы может настроить Метрокластер на базе функционала iSCSI multipath.
Общие принципы¶
Метрокластер на базе функционала iSCSI multipath реализован без привязки выделенных IP—адресов к дисковым группам. Это позволяет обеспечить возможность использовать (презентовать реплицируемые луны хосту) один и тот же набор IP—адресов iSCSI multipath на несколько дисковых групп и всех их реплицируемых лунов.
C хоста—инициатора (при работе репликационных связей двух СХД АЭРОДИСК ENGINE AQ 460 с метрокластером) multipath выглядит как N (например, 4 или 8) путей до каждого реплицируемого луна (соответственно, по 2 или 4 сетевых интерфейса на контроллер при их симметричной настройке на каждой СХД), часть из которых на активном контроллере Primary СХД имеют статус Active, остальные – Standby/Ghosted.
В случае ассиметричной настройки контроллеров двух СХД АЭРОДИСК ENGINE AQ 460 — N (4/6/8) путей до каждого реплицируемого луна (соответственно, по 2/3/4 сетевых интерфейса на контроллер).
Примечание
Ассиметричная настройка возможна, но нежелательна
В СХД АЭРОДИСК ENGINE AQ 460 возможно размещение на одной дисковой группе как лунов метрокластера, так и «обычных» реплицируемых и нереплицируемых лунов. Иными словами, под метрокластер не выделяется вся дисковая группа целиком.
В метрокластере на базе функционала iSCSI multipath реализована возможность использовать один и тот же набор IP—адресов для любого количества входящих в метрокластер репликационных связей с разных дисковых групп.
Реализован такой функционал как репликационная группа — это группа репликационных связей, позволяющая работать с ними по принципу consistency group сразу на двух СХД: любые одиночные действия для репликационной связи на одной СХД, входящей в группу, недоступны. Все действия, производимые над группой, автоматически производятся над всеми репликационными связями, входящими в неё.
Репликационная группа, как сущность, имеет следующие атрибуты:
Название группы — до 32 символов, уникальное наименование группы
Описание — до 80 символов, описание/комментарий, описывающий назначение созданной группы (любой произвольный комментарий, добавляющий семантики к названию группы)
Дисковая группа локального узла
Дисковая группа удалённого узла
Количество связей
Роль
VIP локального узла
VIP удалённого узла
Статус связей в группе
Статус подключения к метрокластеру — обозначение, подключен ли метрокластер к данной репликационной группе (Подключен/Не подключен)
Число реплицируемых томов — до 48 на 2 дисковые группы (по 24 на одну дисковую группу).
Графическое отображение¶
Графическое отображение работы метрокластера iSCSI multipath.
Доступ до группы DDP осуществляется через контроллер ENGINE-1 СХД—А (Primary):
Пока до группы DDP остается хотя бы один путь - доступ до группы осуществляется через контроллер ENGINE-1 СХД—А (Primary):
Как только все пути до группы DDP через контроллер ENGINE-1 СХД–А становятся недоступны, отказ контроллера ENGINE-1, то группа переезжает на ENGINE-0 (см. табл. сценарий 2):
Пока до группы DDP остается хотя бы один путь через контроллер ENGINE-0 СХД—А (Primary), доступ до группы осуществляется через контроллер ENGINE-0:
В случае, если Арбитр отследил отказ обоих портов доступа ENGINE-0 и ENGINE-1 на СХД—А или отказ самой системы, он даёт команду и СХД—Б становится Primary, а СХД–А становится Secondary. Доступ хоста к данным осуществляется через ENGINE-1 СХД–Б (см. табл. сценарий 8, 9):
Сценарии отказов. После каждого сценария отказа СХД—А и СХД—Б приводятся в первоначальное состояние:
№ |
Сценарии |
СХД–А |
СХД–Б |
|---|---|---|---|
1 |
Отказ контроллера E0 |
||
Что происходит на СХД: |
Группа D01 переезжает на E1 |
Ничего не происходит |
|
После восстановления работоспособности: |
Ничего не происходит |
Ничего не происходит |
|
2 |
Отказ контроллера E1 |
||
Что происходит на СХД: |
Группа D02 переезжает на E0 |
Ничего не происходит |
|
После восстановления работоспособности: |
Ничего не происходит |
Ничего не происходит |
|
3 |
Отказали все порты доступа на E0 |
||
Что происходит на СХД: |
Группа D01 переезжает на E1 |
Ничего не происходит |
|
После восстановления работоспособности: |
Ничего не происходит |
Ничего не происходит |
|
4 |
Отказали все порты доступа на E1 |
||
Что происходит на СХД: |
Группа D02 переезжает на E0 |
Ничего не происходит |
|
После восстановления работоспособности: |
Ничего не происходит |
Ничего не происходит |
|
5 |
Отказали все порты репликации на E0 |
||
Что происходит на СХД: |
(и блокируется переключение на вторую площадку) |
Ничего не происходит |
|
После восстановления работоспособности: |
Происходит синхронизация изменений (репликация восстанавливает работу). Во время синхронизации переключение направления репликации все еще заблокировано. После завершения синхронизации разблокируется переключение направления репликации. |
Ничего не происходит |
|
6 |
Отказ СХД—А во время синхронизации изменений |
||
Что происходит на СХД: |
Что было Primary на СХД—Б остаётся Primary. Что было Secondary на СХД—Б остаётся Secondary. |
Ничего не происходит. Что было Primary на СХД—Б остаётся Primary. Что было Secondary на СХД—Б остаётся Secondary. |
|
После восстановления работоспособности: |
Останавливаем репликацию на связях, которые были в Primary на СХД—А (репликация не должна принимать и отправлять изменения) |
Ничего не происходит |
|
7 |
Отказали все порты репликации на E1 |
||
Что происходит на СХД: |
(и блокируется переключение на вторую площадку) |
Ничего не происходит |
|
После восстановления работоспособности: |
Происходит синхронизация изменений (репликация восстанавливает работу) |
Ничего не происходит |
|
8 |
Отказали все порты доступа на E0 и E1 |
||
Что происходит на СХД: |
Происходит переключение направления всех связей репликации из Primary в Secondary |
Происходит переключение направления всех связей репликации из Secondary в Primary |
|
После восстановления работоспособности: |
Ничего не происходит |
Ничего не происходит |
|
9 |
Отказ СХД—А |
||
Что происходит на СХД: |
Происходит переключение направления всех связей репликации из Secondary в Primary |
||
После восстановления работоспособности: |
Все связи поднимаются в Secondary |
Ничего не происходит |
|
10 |
Отказ СХД—Б |
||
Что происходит на СХД: |
Происходит переключение направления всех связей репликации из Secondary в Primary |
||
После восстановления работоспособности: |
Ничего не происходит |
Все связи поднимаются в Secondary |
|
11 |
Изоляция сайта СХД–А (СХД–А недоступна по сети с арбитра и СХД–Б) |
||
Что происходит на СХД: |
Происходит переключение направления всех связей репликации из Primary в Secondary |
Происходит переключение направления всех связей репликации из Secondary в Primary |
|
После восстановления работоспособности: |
В ручном режиме пользователь принимает решение, где у него эталонные данные) |
Ничего не происходит |
|
12 |
Изоляция сайта СХД–Б (СХД–Б недоступна по сети с арбитра и СХД—А) |
||
Что происходит на СХД: |
Происходит переключение направления всех связей репликации из Secondary в Primary |
Происходит переключение направления всех связей репликации из Primary в Secondary |
|
После восстановления работоспособности: |
Ничего не происходит |
В ручном режиме пользователь принимает решение, где у него эталонные данные |
|
13 |
Изоляция сайта арбитра Арбитр недоступен с СХД—А и СХД—Б |
||
Что происходит на СХД: |
Ничего не происходит |
Ничего не происходит |
|
После восстановления работоспособности: |
Ничего не происходит |
Ничего не происходит |
|
Последовательность шагов¶
Внимание
Недопустимо использовать на одной СХД протокол HTTP, на другой СХД протокол – HTTPS
Необходимо использовать одинаковый протокол на обеих СХД
Создание конфигурации метрокластера на обеих СХД
Создание репликационной связи (удалённая синхронная репликация) между СХД
Создание репликационной группы с привязкой к той дисковой группе, на которой была создана репликационная связь – автоматически синхронизируется между СХД
Внесение репликационной связи в репликационную группу
Создание необходимого количества IP—адресов iSCSI multipath на сетевых интерфейсах обоих контроллеров на каждой СХД – автоматически синхронизируется между СХД
Создание минимум 1 таргета на каждом контроллере на каждой СХД, включающего все необходимые IP—адреса iSCSI multipath с каждого контроллера
Создание минимум 1 iSCSI—группы для каждого контроллера на каждой СХД с включением в нее созданных таргетов и необходимых инициаторов
Подключение репликационной группы к минимум 1 iSCSI—группе с таргетами с каждого контроллера каждой СХД — автоматически синхронизируется между СХД
Подключение к метрокластеру - настройка на хосте доступов к реплицируемому луну через те же таргеты на каждой СХД, через которые подключены репликационные групп
Создание конфигурации¶
Создайте конфигурацию метрокластера на обоих СХД. Для этого на СХД—А перейдите в «Репликация» >> «Удалённая репликация» >> «Метрокластер». Выберите «Сконфигурировать». Укажите IP—Арбитра и IP обоих удалённых контроллеров.
Выполните аналогичную настройку на СХД—Б.
Стандартным образом создайте на СХД—А группу DDP
Создайте в группе тома
Стандартным образом создайте на СХД—Б группу и тома идентичные группе и томам, созданным на СХД—А
Создание IP—адресов¶
На СХД—А перейдите в раздел «Сетевые интерфейсы» >> «IP Ресурсы»
Нажмите «Создать». В открывшемся модальном окне создайте VIP—репликации.
В поле «ENGINE-0» укажите IP main интерфейса ENGINE-0 СХД—А
В поле «ENGINE-1» укажите IP main интерфейса ENGINE-1 СХД—А
В поле «Группа» укажите созданную на предыдущем шаге группу DDP на СХД—А
В поле «Назначение» укажите Репликации»
В поле «IP Ресурс» укажите свободный IP в той же подсети на котором будет создан VIP—репликации локального СХД
В поле «Маска подсети» укажите 255.255.255.0
Аналогично создайте VIP—репликации на СХД—Б:
Создание репликационной связи¶
На СХД—А перейдите в раздел «Репликация» >> «Удалённая репликация» >> «Репликационные связи»
Выберите «Создать связь»:
В открывшемся модальном окне:
В поле «Имя связи» укажите имя связи (латинские буквы и цифровые обозначения, обязательно к заполнению)
В поле «Тип связи» укажите «Синхронный»
В поле «VIP локальной СХД» укажите VIP-репликации для СХД—А, созданный на предыдущем шаге
В поле «VIP удалённой СХД» укажите VIP-репликации для СХД—Б, созданный на предыдущем шаге
Нажмите «Добавить пару» и укажите созданные тома на СХД—А и СХД—Б
Нажмите «Подтвердить».
На вкладке «Репликационные связи» отображаются созданные репликационные связи:
Создание репликационной группы¶
На СХД—А перейдите в раздел «Репликация» >> «Удалённая репликация» >> «Репликационная группа»
Примечание
Создайте репликационную группу с привязкой через используемый VIP репликации к той дисковой группе, на которой была создана репликационная связь
Репликационная группа создаётся, чтобы подключить репликационные связи для нового метрокластера по iSCSI multipath. Без этого их невозможно подключить
Репликационная группа создаётся сразу на две СХД и она полностью синхронизируется
Примечание
Запрещено создавать репликационную группу, если один из контроллеров СХД–А или СХД–Б недоступен, или находится в неработоспособном состоянии
Все изменения в репликационных группах (включая создание/изменение/удаление группы) должны автоматически реплицироваться на вторую СХД через ее VIP (репл.)
Удалить возможно только пустую репликационную группу, из которой предварительно удалены все репликационные связи.
Примечание
Репликационная группа может подключаться к метрокластеру через iSCSI—группу, через которую к метрокластеру не подключены никакие другие репликационные группы
Выберите «Создать»:
В открывшемся модальном окне:
В поле «Название группы» укажите имя группы (латинские буквы и цифровые обозначения, обязательно к заполнению)
В поле «VIP локального узла» укажите VIP—репликации для СХД—А
В поле «VIP удалённого узла» укажите VIP—репликации для СХД—Б
Поля «Дисковая группа локального узла» и Дисковая группа удалённого узла» будут заполнены автоматически
В поле «Тип связи» укажите «С»
Нажмите «Подтвердить».
На вкладке «Репликационные группы» отображаются созданные репликационные группы:
Внесение репликационной связи¶
Добавьте репликационные связи в репликационную группу (автоматически синхронизируются между СХД). Для этого перейдите на вкладку «Репликационные связи»:
Примечание
В одну репликационную группу не могут входить связи репликации созданные на разных дисковых группах
С каждой дисковой группы к метрокластеру может быть подключено не более двух репликационных групп из общего их списка
Выберите связи. Нажмите «Добавить в группу»:
В открывшемся модальном окне выберите необходимую группу репликации.
Нажмите «Создать».
На вкладке «Репликационные связи» отображается созданная группа репликации:
На вкладке «Репликационные группы» отображаются созданные репликационные группы:
Репликационные связи на данном этапе созданы, но метрокластер еще не подключен
Репликационная связь подключается к метрокластеру iSCSI multipath только опосредованно – через репликационную группу (т.е. метрокластер подключается только к репликационной группе)
Примечание
Групповые действия с репликацией осуществляются через группу репликаций
Создание таргета¶
Перейдите в раздел «Блочный доступ» >> «iSCSI» >> «Таргеты»
Выберите «Создать».
В открывшемся модальном окне введите «Имя таргета».
Добавьте от 1 до 4 порталов на одном контроллере (суммарно от 2 до 8). Это позволяет создать множественный доступ от хоста к одному блочному устройству, что обеспечивает отказоустойчивость.
Предупреждение
VIP-адреса iSCSI-таргетов должны находиться в отдельной подсети по отношению к основной (main) сети контроллеров. Размещение VIP в той же подсети приведёт к ошибкам маршрутизации и нарушению корректной работы multipath-доступа
Примечание
Для подключения репликационной группы с обоих контроллеров к метрокластеру, необходимо создать минимум 2 таргета (по 1 с каждого контроллера), максимум - 8 таргетов (по 4 с каждого контроллера)
В один таргет с одного контроллера возможно включить от 1 до 4 IP-адресов.
На вкладке «Таргеты» отобразится информация о созданном таргете, включая его IQN и порталы.
Создание iSCSI—группы¶
Cоздайте iSCSI группу для таргета.
Перейдите на вкладку «Блочный доступ» >> «iSCSI» >> «Группы».
Нажмите «Создать».
В открывшемся модальном окне введите:
Имя группы
Таргет
IQN инициатора.
Нажмите «Добавить инициатора»
Нажмите «Подтвердить».
Информация о созданной группе отображается на вкладке «Группы»:
Примечание
Маппинг пока создавать не нужно. Он создаётся автоматически, как только репликационная группа будет создана и присоединена к метрокластеру
Подключите репликационную группу к метрокластеру – маппинг создаётся автоматически
Подключение к метрокластеру¶
В меню выберите «Подключить к метрокластеру»:
В открывшемся модальном окне выберите нужные таргеты – по одному таргету на каждом контроллере каждой СХД.
Метрокластер подключен. Маппинг настроен автоматически.
Как только репликационная группа подключается к iSCSI–группе с таргетом на базе iSCSI multipath, в этой же группе создаются маппинги всех томов выбранной репликационной группы на указанный таргет.