Для обеспечения высокого быстродействия рекомендуется равномерно распределять нагрузку между контроллерами. Один из вариантов для обеспечения этого – распределение RDG и DDP между контроллерами с тем, чтобы максимально задействовать все накопители и вычислительные мощности контроллеров.
Для работы с дисками SAS и NL_SAS рекомендуется использовать RAID Distributed Group (RDG). Для защиты данных на SSD оптимальным вариантом с точки зрения производительности будет Dynamic Disk Pool (DDP).
RDG группа состоит из одного или более V-DEV одинакового типа RAID и размера и опционально SSD-кэша, SSD+MCache и Online-tiering для групп из шпиндельных дисков.
При создании логического тома на RDG группе можно выбрать размер блока тома: 4К, 16К, 32К, 64К,128К - значение по умолчанию.
Размер блока тома нужно выбирать максимально близким к размеру блока, которым работает приложение, данные которого размещаются на томе.
Соответствие размера блока приложения размеру блока тома особенно важно при случайном характере нагрузки.
Также соответствие размера блока приложения размеру блока тома особенно важно для групп на шпиндельных дисках.
Для приложений, создающих случайную нагрузку высокой интенсивности маленьким блоком (4К,8К), предпочтительнее использовать RAID10.
Для тех случаев, когда рабочий объем более важен, чем производительность, используются твердотельные диски или быстрые шпиндельные диски (SAS10К или SAS15К) можно использовать RAID5. Не рекомендуется использовать RAID5 со шпиндельными дисками большого объема (от 4ТБ) из-за длительного перестроения RAID и потенциальной опасности потери данных при выходе из строя второго диска в V-DEV.
Для приложений, создающих последовательную нагрузку большим блоком, рекомендуется использовать RAID5, RAID60 или RAID60P в зависимости от типа используемых дисков.
Размер блока тома определяет какими «кусками» происходит взаимодействие (запись/чтение) с V-DEV, входящих в состав группы. Т.е. если на том происходит запись блоком большего размера, чем блок логического тома, то входящий блок разбивается на несколько блоков (при этом на уровне группы для каждого такого блока формируется контрольная сумма). Если размер входящего блока меньше блока логического тома, то выполняется следующая последовательность действий - чтение блока с V-DEV, модификация и запись. Блок логического тома (логический блок) далее на уровне V-DEV размещается на физических дисках, по схеме, определяемой формулой RAID, и V-DEV взаимодействует с дисками блоками, равными физическому размеру блоку диска (PHY_SIZE).
Для V-DEV RAID50, 60 и 6P предпочтительнее чтобы запись на них происходила полным страйпом, поэтому, при размере физического блока диска 4К, эффективнее писать на V-DEV блоками размером N*4K (N – количество дисков данных в RAID).
Рекомендованные формулы V-DEV RAID с точки зрения производительности приведены в таблице 1.
Таблица 1 - Рекомендуемые формулы RAID
Размер блока логического тома |
RAID5 |
RAID6 |
RAID6P |
|
|---|---|---|---|---|
4К |
Не рекомендуется |
Не рекомендуется |
Не рекомендуется |
|
8К |
Не рекомендуется |
Не рекомендуется |
Не рекомендуется |
|
16К |
4+1, 8+1 |
4+2, 8+2 |
Не рекомендуется |
|
32К |
4+1, 8+1 |
4+2, 8+2 |
8+3 |
|
64К |
4+1, 8+1, 16+1 |
4+2, 8+2, 16+2 |
8+3, 16+3 |
|
128К |
4+1, 8+1, 16+1 |
4+2, 8+2, 16+2 |
8+3, 16+3 |
|
Использование более 16 накопителей в одном V-DEV не рекомендуется для медленных дисков большого размера из-за длительного перестроения RAID.
SSD-кэш рекомендуется использовать для всех конфигураций шпиндельных дисков. Для групп, создаваемых на NL-SAS дисках, использование SSD-кэша обязательно. SSD-кэш ускоряет запись, группируя записываемые блоки для дальнейшей асинхронной выгрузки на V-DEV. В случае интенсивной записи в постоянном режиме, например, в системах наблюдения, рекомендуется использование дисков большого емкости с DWPD 3 для предотвращения выхода дисков из строя из-за исчерпания ресурса ячеек флэш-памяти.
SSD+Mcache рекомендуется использовать при нагрузке, носящей случайный характер и при включении функционала дедупликации. В случае использования функционала дедупликации необходимо использовать SSD-диски большой емкости для обеспечения необходимого объема для хранения метаданных.
SSD Online-Tiering рекомендуется использовать при нагрузке, носящей случайный характер и имеющей ярко выраженные «горячие» области, например, для индексов баз данных. Если в нагрузке преобладают операции записи или нагрузка носит последовательный характер, использование Online-Tiering не принесет результата.
Возможно одновременное использование технологий SSD-кэш и Online-Tiering для увеличения производительности RDG группы и на операция случайного чтения, и на операциях запиcи.
Следует отметить, что включение функций кэширования на SSD ведет за собой использование части памяти контроллера для хранения связанных с кэшированием метаданных. Не рекомендуется использовать технологии кэширования на системах с небольшим объемом оперативной памяти.
Для приложений, создающих интенсивную нагрузку ввода/вывода, рекомендуется разделять её на несколько логических томов. Например, для высоконагруженных баз данных рекомендуется выделять отдельные тома для логов, индексов и размещать файлы базы данных на нескольких логических томах.
Для систем видеонаблюдения с большим количеством камер рекомендуется писать видеопотоки с разных групп камер на разные логические тома. Для получения максимальной производительности рекомендуется: * для групп из шпиндельных дисков - не менее четырёх томов на группу; * для групп из SSD-дисков - не менее восьми томов на группу.
В зависимости от типа нагрузки и требований по отказоустойчивости настройки могут существенно отличаться, в частности по используемым уровням защиты RAID, размеру блока на логических томах (LUN), использованию SSD cache / MCache и пр.
В системах с интенсивной записью для сохранения задержек ввода-вывода (IO latency) на приемлемом уровне рекомендуется не заполнять группу более чем на 80%.
Рекомендуется использовать SSD или большое число SAS 10k дисков.
Для RDG из шпиндельных дисков обязательно использовать SSD + MCache.
Предпочтительней для V-DEV использовать RAID10.
Для RAID5 формула 4+1 или 8+1.
Использовать тома для датасторов небольшого размера 4-16ТБ.
Не менее 4-х томов на группу.
Размер блока тома для виртуальных машин – 32КБ.
Для нагруженных баз данных вынести базы на отдельные тома с соответствующим размером блока (4К или 8К).
Диски NL-SAS.
Обязательно использовать SSD Cache.
RAID60 формула 8+2 или RAID60P формула 8+3, 16+3.
Не менее 4-х томов на группу.
Размер блока тома 128K.
Не допускается размещать базу каталога Системы Видеонаблюдения на группах NL-SAS дисков, рекомендуется выделять под нее отдельные группы и тома на дисках SAS или SSD.
Dynamic Disk Pool (DDP) состоит из двух или более дисков одинакового типа и размера. При создании DDP можно выбрать размер блока, которым происходит выделение пространства. По умолчанию размер блока равен 4МБ, опционально можно выбрать 16МБ.
Возможно создание “толстых” и “тонких” томов. Для достижения максимальной производительности рекомендуется использовать толстые тома.
При создании тома логического тома выбирается уровень RAID: 0, 1, 10, 5, 6. В отличие от RDG, в данном случае распределение четности происходит не между физическими дисками, а между блоками, которые выделяются под конкретный логический том во время его создания.
Выбор уровня RAID зависит от требований по отказоустойчивости и от профиля нагрузки. Чем выше процент операций записи, тем более оптимально с точки зрения производительности использование RAID10.
Таблица 2 - Рекомендуемые уровни RAID для различных типов нагрузки
Тип нагрузки |
Оптимальный уровень защиты |
|---|---|
Потоковое чтение, запись |
RAID1, RAID10, RAID5, RAID6 |
100% cлучайное чтение |
RAID1, RAID10, RAID5, RAID6 |
100% cлучайная запись |
RAID1, RAID10 |
Смешанная случайная нагрузка, 70% чтения и 30% записи |
RAID1, RAID10, RAID5 |
Рекомендуется использование следующих уровней защиты: RAID10 с числом дисков 2 до 12, RAID5 4+1, RAID5 8+1, RAID6 4+2, RAID 8+2. В случае размещения логических томов на большем числе дисков быстродействие снижается незначительно, но возрастает время восстановления отказоустойчивости после выхода диска из строя.
При создании логических томов автоматически проверяется свободное место на дисках DDP пула, том создается на наименее загруженных дисках.
При работе с томами по блочным протоколам Fibre Channel и iSCSI для получения максимальной производительности СХД желательно создавать не менее 4-8 томов на DDP-пул и не менее 8-12 томов на контроллер. Точное число томов для достижения максимальной производительности может варьироваться в зависимости от профиля нагрузки и используемого уровня RAID.
Рекомендуется использовать SSD.
Если нужно обеспечить минимальные задержки, рекомендуется использовать RAID10 для защиты данных.
Если низкие задержки некритичны или большой процент операций чтения, рекомендуется использовать RAID5 или RAID6.
Для RAID5 формула 4+1 или 8+1.
Для RAID6 рекомендуемая формула 4+2 или 8+2.
Не менее 4-х томов на группу.
Рекомендуется использовать SSD.
Если нужно обеспечить минимальные задержки, рекомендуется использовать RAID10 для защиты данных.
Если низкие задержки некритичны или большой процент операций чтения, рекомендуется использовать RAID5 или RAID6.
Для RAID5 формула 4+1 или 8+1.
Для RAID6 рекомендуемая формула 4+2 или 8+2.
Возможно использование RAID5 или RAID6 для фалов баз данных, RAID10 для логов.
Контроллеры массива.
SSD / HDD накопители.
Front-End адатеры (Fibre Channel, Ethernet).
Back-end адаптеры (SAS 12Gb).
Необходимо предусмотреть необходимое количество дисков, адаптеров ввода-вывода и контроллеров с достаточным числом вычислительных ядер для обеспечения требуемой приложениями производительности.
На этапе сайзинга системы можно выбрать число процессорных ядер контроллеров и объем оперативной памяти. В зависимости от модели в СХД может быть от 8 до 80 процессорных ядер и от 64 до 2ТБ оперативной памяти. При использовании дедупликации рекомендуется добавлять в СХД не менее 1ГБ памяти на каждый ТБ полезного объема. Аналогично при использовании удаленной репликации или функционала метрокластера необходимо предусмотреть в СХД 1ГБ памяти на каждый ТБ реплицируемого между СХД объема.
хранение резервных копий, архивы, видеонаблюдение – NL_SAS 7200 rpm диски;
малонагруженная виртуализация, инфраструктурные задачи – SAS 10k;
виртуализация, базы данных - SSD.
Dynamic Disk пулы, как минимум, по одному на контроллер;
RAID 10: не менее 24 на систему;
RAID 5,6: не менее 48 на систему.