Как подключить дисковую полку к серверу

Настройка системы хранения EMC VNX 5100

Доброго дня всем читающим эти строки. Недавно довелось мне настраивать дисковую полку EMC VNX 5100, в качестве СХД под кластер. Как выяснилось, особо сложного в ней ничего нет, однако в процессе попадаются некоторые особенности, которые отвлекают на себя время и внимание. Если вы хотите использовать эту СХД, но не хотите тратить лишнего времени на хождение по граблям, прошу под кат.

Дисковая полка VNX 5100 – это СХД начального уровня, конструктивно состоит из собственно массива дисков и SPS (Stanby Power Supply)-модуля. Массив занимает 3 юнита, и может содержать 15 3,5-дюймовых дисков (мой вариант), или 25 2,5-дюймовых. Первые четыре диска заняты операционной системой, и в работе их использовать не рекомендуется. SPS-модуль занимает 1 юнит, содержит встроенные аккумуляторы, может держать два дисковых массива. Основная его задача – при выключении полки корректно завершить все дисковые операции и выписать содержимое кэша на диски. Больше ничего. В этом кроются не просто грабли – а грабли детские. С соответствующими последствиями в случае наступания. Несмотря на собственную батарейку, система не делает ни малейшей попытки изобразить из себя ИБП, и при пропадании питания спокойно ложится. Так что эту батарейку обязательно нужно включать во внешний бесперебойник, хотя опыт активно протестует.

Упакована система с душой, вес в упаковке чуть более 90 кг, так что на «занос тела» лучше пригласить мускулистых друзей. А если на пути к серверной есть крутые лестницы и узкие двери, то друзья будут особо благодарны за доставленное удовольствие.
Устройство может продаваться как с ПО в комплекте, так и без него. Как бы то ни было, если вы не обнаружили в коробке никаких установочных дисков – не расстраивайтесь. Это нормально.

На монтаже в стойку останавливаться не будем, собирается всё без проблем. Единственно – обратите внимание на шнуры питания, идущие в комплекте. Может мне так повезло с полками, может – со стоечными бесперебойниками, но шнуры из комплекта сидят в разъёмах ИБП достаточно свободно. Из трёх моих полок один комплект шнуров пришлось почти полностью заменить шнурами от ИБП, иначе они просто вываливались.

Перед тем, как приступить к настройке, регистрируемся на сайте производителя emc.com и выкачиваем нужное ПО. В сетях рекомендуют качать установочный пакет VNX Installation Toolbox, который содержит почти всё необходимое, но я бы советовал брать нужные утилиты россыпью. Во-первых, в toolbox входят не все необходимые утилиты, а во-вторых – они созданы инсталлятором InstallAnywere, который некорректно работает под Windows Server 2012. Вам понадобятся последние версии следующих утилит (они уже пережаты инсталлятором InstallAware, который работает нормально):

EMC PowerPath
EMC Unisphere Storage System Initialization
EMC Unisphere Server Utility
EMC Unisphere VNX Client
EMC Unisphere Server
EMC Unisphere Service Manager

Перед установкой на хостах выполняем все необходимые действия – подключение FC, настройка сети, завод в домен и т. д. Для работы некоторых утилит необходима Java, поэтому ставим и её тоже. На время настройки советую погасить внутренние интерфейсы на всех узлах будущего кластера, иначе полка при регистрации может подхватить их, а не внешние. Не то, чтобы это было критично, работать будет и так, и этак, но вдруг когда-то в будущем полке захочется пообщаться по сети со своими хостами. Далее я буду описывать каждую утилиту, указывая её версию. Это не обязательно самая последняя версия на данный момент, но эта версия у меня гарантировано заработала.

EMC Unisphere Storage System Initialization
(UnisphereInitTool-Win-32-x86-en_US-1.2.25.1.0163-1.exe)
Эта утилита инициализирует вашу полку. Перед её установкой подключите интерфейс хоста и управляющие интерфейсы дисковой полки в одну подсеть, на одном физическом коммутаторе. Включите полку. Стартует она достаточно медленно, поэтому есть время на чашечку кофе. Устанавливаем, запускаем утилиту, она обшаривает подсеть и показывает все найденные СХД с указанием их серийного номера. Обратите внимание, что на время работы утилиты нужно выключить файрволл, иначе поиск будет неудачным. По номеру определяем нужную, инициализируем, и задаём ip-адреса на управляющих интерфейсах. К сожалению, по этому пункту у меня познания только теоретические, из мануалов, поскольку мои железяки приехали от поставщика уже проинициализированные, с адресами на интерфейсах вида 1.1.1.1. Так что я лишь убедился, что устройство проинициализировано, да определил его ip. Если кто имеет практический опыт этой операции, буду благодарен за уточнения.

EMC Unisphere Server Utility
(UnisphereServerUtil-Win-32-x86-en_US-1.2.25.1.0163-1.exe)
Утилита регистрирует хост на дисковой полке, позволяя в будущем назначить ему логические диски. Если iSCSI-инициатор не запущен, то стартует и его. При необходимости регистрацию можно выполнить и руками, из веб-интерфейса – работать будет. Но корректнее всё же, проделать её автоматически. После запуска выбираем пункт Register this server with all connected storage system.

EMC Unisphere Server
(UnisphereServer-Win-32-x86-en_US-1.2.25.1.0156-1.exe)
EMC Unisphere VNX Client
(UnisphereClient-Win-32-x86-en_US-1.2.25.1.0156-1.exe)
Предоставляет доступ к веб-интерфейсу управления полкой. Клиентская часть просит ввести адрес полки, и подключается к нему, серверная предоставляет то же самое на ip-адресе хоста. Работает на Java. Для корректной работы серверной части сконфигурируйте разрешения файрвола. На тот же интерфейс полки можно подключиться, просто введя ip-адрес полки в браузере. Обратите внимание, при первом подключении нужно создать учётную запись администратора.

EMC Unisphere Service Manager
(UnisphereServiceManager-Win-32-x86-en_US-1.2.26.1.0068-1.exe)
Сервисная утилита, используемая для смены прошивки, ОС, апгрейдов аппаратного обеспечения, сбора диагностики и т. д. В обычной работе не используется.

EMC PowerPath
(EMCPower.X64.signed.5.5.b289.exe)
Утилита PowerPath – это отдельный продукт балансировки нагрузки между разными FC, может использоваться с СХД разных производителей, и вообще говоря – вещь лицензируемая и платная. Однако для подключений к системам EMC Clarion и EMC VNX производитель разрешает использовать её без лицензии. Для этого при установке указываем, что «Yes», мы имеем Only Clarion arrays connected to this host. Я использовал версию 5.5 без патча. На сайте есть патч, а в документации встречаются упоминания про версию 5.7. Конструктивно полка содержит два блока, каждый из которых отправляет на хост информацию о назначенных логических дисках. Таким образом, в Computer Manager будет видно два комплекта дисков СХД, один из которых подключается, а второй выбивает ошибку (и не мудрено, ведь диски уже заняты). PowerPath автоматически обрабатывает все FC и скрывает лишний комплект дисков. Работать всё будет и без него, но лучше сделать красиво и корректно.

Утилита поддерживает три режима работы:
Active-active – FC работают одновременно с балансировкой нагрузки.
Active-passive – один FC активен, а остальные стоят в резерве, и подключаются при отказе активного. В каждый момент времени работает только один FC.
ALUA – это протокол выбора предпочтительного пути к данным, размещенным на контроллерах с разным приоритетом, например один из двух — более предпочтителен как путь доступа, чем другой. Так что с использованием протокола ALUA (если OS его умеет использовать) из нескольких путей выбирается тот, который для доступа к данной порции данных (например LUN-у) выгоднее. Если контроллер, приоритетный для этих данных, недоступен, то доступ пойдет через тот контроллер, который имеет «второй сверху» приоритет, и так далее. Но тем не менее оба они активны, хотя в данный конкретный момент времени, для конкретного LUN используется преимущественно один (в этом отличие от Active-Passive). (с) track
Именно этот режим поддерживает наше устройство, в отличие от двух предыдущих, с которыми могут работать только старшие модели.

Итак, весь софт установлен, и теперь можно заняться непосредственно полкой.
Подключаемся к веб-интерфейсу, и идём на вкладку Hosts > Host List. Поскольку регистрацию мы уже провели, в этой вкладке видим свои сервера. На вкладке Hosts > Initiators перечислены инициаторы, связывающие сервера с блоками СХД. Инициатор можно дерегистрировать и вместо него вручную создать новый, выбрав имя сервера из существующих или задав новое. Работать будет. Сейчас все инициаторы в списке представлены с жёлтыми треугольниками предупреждений – потому что они никуда пока не подключены. На вкладке Settings > Network > Edit network settings перенастраиваем ip-адреса на свою сеть.

Поскольку наша система готовится под кластер, будем создавать два LUNа – кворум на 1 Гб, и LUN данных на всё остальное пространство. Сначала готовим пул под размещение этих LUNов. На вкладке Storage > Storage Pools выбираем тип рейда и общий объём пула. Здесь тоже есть особенность – система не умеет создавать рейды на произвольном количестве жёстких дисков. Вместо этого можно выбрать один из предустановленных шаблонов.

Так, 10 дисков в raid5 совершенно не означают схему 9+1. А означают (4+1)+(4+1), с соответствующим падением суммарной ёмкости. А raid5 на 8 дисках означает комбинацию (4+1)+(2+1). Хорошо, если на этом рейде будут просто лежать файловые данные, а если это данные приложений, то поимеем непрогнозируемые проблемы с производительностью. Учитывая, что изначально я могу рассчитывать на 10 дисков (15 минус 4 под операционкой и минус 1 HotSpare), выбирать приходится между raid5 на 10 дисков, и raid6 на 8 дисков плюс два в зеркале. Из соображений дисковой ёмкости решено было остановиться на raid5. Итак – указываем тип рейда, указываем количество дисков, под него отведённых, имя нового пула – и ОК.

Теперь Storage > Luns. Указываем имя пула, на котором будет размещаться новосозданный LUN, его имя и размер.

И наконец, на вкладке Hosts > Storage Groops создаём новую группу хранилищ, связывая между собой LUNы и хосты:
Create, затем Connect LUNs, затем Connect Hosts. Группы хранилищ, собственно, и сопоставляют один или несколько LUNов одному или нескольким хостам. Обратите внимание – подключать к одному LUN несколько хостов можно, только если они являются будущими членами кластера. В противном случае, хосты будут повреждать данные друг друга из-за несогласованной записи на диск.

Теперь можно зайти на вкладку Hosts > Initiators и полюбоваться на зелёные галочки напротив всех инициаторов, свидетельствующие о корректном подключении.

На этом настройку дисковой полки можно считать оконченной. На каждом хосте заходим в Disk Management и переводим наши новые диски в online, не назначая букву. Форматируем в NTFS, поднимаем кластер, и цепляем диски к нему. Можно работать. Кластер я поднимал на Windows Server 2012, отличия в процессе от Server 2008 косметические. Но, если кому интересно, могу описать.

Как подключить полку к серверу

Отключаем полку HPE MSA 2040 ES LFF Disk Enclosure от СХД и подключаем её к серверу

Привет, сегодня проводим эксперимент. Мы отключим полку HPE MSA 2040 ES LFF Disk Enclosure от СХД HP MSA 2040 и подключим её к серверу HPE Proliant DL360 Gen9. Эксперимент должен ответить на вопросы:

Что нужно для такого подключения?
Увидит ли контроллер сервера диски?
Увидит ли контроллер сервера созданные на HPE MSA массивы RAID?

У нас есть

Имеется отдельно стоящий сервер HPE Proliant DL360 Gen9.

Имеется СХД HPE MSA 2040.

К СХД подключена полка HPE MSA 2040 ES LFF Disk Enclosure.

На полке 12 дисков и из них создан RAID5 массив.

Нужно для подключения полки к серверу

Для подключения полки к серверу понадобится дополнительное оборудование:

PCI RAID контроллер. У меня есть в шкафу HPE H241 Smart HBA. HPE H241 Smart HBA
Два кабеля Mini SAS HD to Mini SAS. И снова поможет шкаф: 716191-B21 — кабель HP 2.0m External Mini SAS HD to Mini SAS

Сборка

В сервер HPE Proliant DL360 Gen9 вставляем контроллер HPE H241 Smart HBA:

Отключаем HPE MSA 2040 ES LFF Disk Enclosure от СХД HP MSA 2040.

Берём новое кабло:

Подключаем одним концом к HPE MSA 2040 ES LFF Disk Enclosure в порт IN (слева):

hpe

Второй конец втыкаем в сервер HPE Proliant DL360 Gen9 в контроллер HPE H241 Smart HBA:

Загружаем сервер и входим в SSA — Smart Storage Administrator. Если контроллер HPE H241 Smart HBA находится в режиме HBA — переключаем его в RAID Mode и перезагружаем сервер.

Снова входим в SSA и видим такую картину:

Логических устройств — 0. Это говорит о том, что контроллер не видит массивы RAID, созданные на СХД HPE MSA 2040.

Однако, физических устройств — 12. Значит, сами диски контроллер прекрасно видит и данную полку вполне можно использовать как дополнение к серверу.

Разница между СХД и полкой и что такое JBOD

Давайте попробуем определить, что за устройство на картинке.
Правильно – по “морде” определить невозможно. Нужно смотреть на тыльную часть. И варианты могут быть разные:

B. Система хранения данных (СХД)

C. Дисковая полка SAS-1 c двумя контроллерами JBOD (HP MSA2000sa AJ750A)

Думаю, читатели данной статьи хорошо знают, что такое сервер, но имеют смутное представление об СХД и полках. СХД и полка похожи, но тем не менее между ними существенная разница.

СХД – система хранения данных – это не полка

СХД (система хранения данных) намного сложнее полки, они дороже и имеют значительно больше нюансов.

Отличие СХД от полки это наличие “Мозга”. Контроллеры СХД это мини-серверы, со своими процессорами, памятью и операционной системой. СХД собирают из дисков RAID массивы, и передают данные по протоколам высокого уровня (iSCSI, NFS), контролируют целостность данных, позволяют создавать снапшоты и многое другое. СХД нужна, если наша задача – построить отказоустойчивый кластер

Однако, в случае если мы просто хотим добавить дисков в сервер, наличие “мозга” создаёт сложности: Не все СХД понимают диски объёмом более 2Tb. Редкие СХД принимают от независимых производителей. Несмотря на то, что СХД полезное устройство – в этой статье мы не будем рассматривать использование СХД. Сегодня давайте разберёмся с полками.

Полка – это не СХД

Полка – достаточно простое устройство. Корпус, два блока питания, бэкплэйн и JBOD* контроллеры. Задача полки, без какой-либо обработки, передать данные из накопителя в адаптер (карту RAID или HBA). Любая полка поддерживает диски любого объёма и любого производителя. Всё решает карточка в сервере. Контроллер полки – это набор микросхем с жёсткой логикой.

Так выглядит подключение дисков внутри сервера

Так – подключение сервер + полка.

С точки зрения схемотехники (и операционной системы), диски, установленные в полку, ничем не отличаются от дисков установленных в сервер**.
Полка имеет отдельный корпус, отдельные блоки питания, но в обоих случаях подключение производится через RAID карточку, установленную в сервер – отличие лишь в том, что в случае с полкой кабель подключается не по внутреннему, а по внешнему разъёму.

*JBOD = Just A Bunch of Disks ( просто пачка дисков )
** Если быть совсем точным, полку можно сравнивать с сервером в котором установлен SAS экспандер – это серверы, в которых количество дисков превышает 8. Для операционной системы SAS экспандер не заметен.

Вот широко распространённый RAID контроллер LSI9260-8i
8i означает 8 внутренних портов SAS/SATA

А вот его брат LSI9280-4i4e

4 внутренних и 4 внешних порта

Как называется вот этот контроллер, я думаю, вы уже догадались )

Правильно – это LSI9280-8e.

Все эти контроллеры собраны на одном и том же чипе LSI2108. Они обеспечивают работу по протоколам SAS/SATA со скоростью 6Gb/s и “понимают” диски объёмом более 2Tb. Попутно замечу, что на этом чипе собраны RAID контроллеры в серверах Supermicro, Intel, IBM, DELL, Fujitsu и CISCO. Многие из производителей даже не утруждают себя разработкой собственной печатной платы – меняют только прошивку. Но впрочем, RAID и HBA – тема для отдельной статьи.

Вывод: если не хватает места для дисков – можно просто подключить к серверу полку. Новый сервер покупать не обязательно.

Ещё несколько нюансов:

Полки бывают не только SAS, но и других типов, например, FC (скорее всего они вам не нужны).
Полки могут быть 3, 6 и 12Gb/s. Не все знают, что в одном кабеле mini-SAS четыре канала. Это значит, что для вычисления скорости обмена полка-контроллер показатель 3,6,12 нужно умножить на 4, а в случае если полка и контроллер соединяются двумя кабелями, на 8. Для примера 3-х гигабитная полка сможет отдавать в сервер 3×4 = 12 Гигабит! Что очень неплохо, особенно, если вы устанавливаете шпиндельные накопители. Для работы диска с сервером важна не скорость передачи данных а количество операций ввода-вывода IOPS. Об этом читайте в пункте 7.
Не важно Supermicro, IBM, DELL или HP. Любая SAS полка будет работать с любым SAS контроллером. Брэнд имеет значение только когда вы подключаете полку к СХД.
Полки можно собирать в гирлянду – подключая к одному контроллеру сразу несколько полок.****** Если вы используете SATA диски, длина подключения не должна превышать 1М.
При использовании SAS дисков (или SATA дисков с интерпозерами) можно подключать полку по двум путям, через два контроллера. Это позволяет избежать отказа в случае выхода их строя одного из контроллеров.
Полки можно добавлять по мере роста количества данных, подключая их двумя путями
“в гирлянду” вот так:
SFF* полки ( обычно бывают 2U на 24-25 дисков)Для чего нужны SFF полки?Типичный сервер редко перекидывает большие блоки данных – в основном он производит хаотичные запросы чтения или записи маленьких блоков из совершенно разных мест массива. Скорость по этому показателю измеряется не в Гигабитах в секунду, а в количестве операций ввода-вывода (IOPS). И именно IOPS, а не трансфер основной параметр которому следует уделять внимание. Пользователи ПК сравнивают диски по показателям 3Gb/s, 6Gb/s, 12Gb/s, но зачастую, скорость потока диск – сервер это не Гигабиты, и даже не Мегабиты, а Килобиты! Скорости 3Gb/s, которую обеспечивают даже устаревшие интерфейсы в большинстве случаев достаточно. Сильно ошибаются те, кто думают, что улучшат производительность, сменив диски 3Gb/s на 12Gb/s. Если не изменился форм-фактор и обороты диска – скорость IOPS не измениться.На увеличение IOPS положительно влияют: увеличение оборотов, уменьшение физического размера, увеличение числа дисков в массиве.LFF диски, (особенно низкооборотистые 7200RPM) не предназначены на работу в режиме случайного доступа – их назначение хранение ColdData (например бэкапов)*SFF Small Form Factor – это диски 2,5” Обычно это высоко-оборотистые 10-15К SAS диски объёмом 300-1200GB. Не стоит путать их с ноутбучными дисками.
LFF Large Form Factor – это диски 3,5” Обычно низко-оборотистые 7200 диски, объёмом 2TB и более.
И наконец, если у вас уже есть СХД, добавив полку вы можете увеличить не только объём, но и существенно повысить скорость работы. Ведь показатель IOPS напрямую зависит от количества дисков.У нас имеются полки для наиболее распространённых СХД производства NetAPP, HP, Dell, IBM.

На этом всё.
Остались вопросы – звоните, будем рады помочь.

Подключение СХД к серверу: пошаговая инструкция

Если вы уже не первый год в бизнесе, то наверняка заинтересованы переходом на системы хранения данных. Об их функциях мы подробно рассказывали в другом материале, с которым также рекомендуем ознакомиться.

Здесь же остановимся на технической части. А точнее — на процессе подключения СХД к серверу предприятия. Чтобы все правильно работало, отвечало критериям безопасности, не вызывало проблем на дистанции. Тема объемная, затрагивает массу смежных протоколов и сервисов. Но если разобраться — ничего сложного.

Общие сведения и определения
Схема подключения СХД к серверу по SCSI, SAS, FC
Полезные советы

Подключение СХД к серверу: пошаговая инструкция

Общие сведения и определения

Для начала давайте пройдемся по терминологии. Системы хранения данных (или сети хранения данных) в кругу специалистов принято именовать SAN (Storage Area Network). Основные компоненты SAN — накопители и контроллеры. Чтобы равномерно распределять нагрузку между дисками и серверами, не потеряв при этом в скорости и надежности, используют несколько путей ввода-вывода, не менее двух интерфейсов подключения и HBA (Host Bus Adapter) — выделенную плату-контроллер, которая связывает диски.

Связь между блоками обеспечивают коммутаторы. Они же отвечают за принадлежность к определенным ресурсам. Для этих целей у каждого SAN собственный WWN-адрес (World Wide Name), некий сетевой аналог MAC-адреса.

Подключение производят посредством LUN-интерфейса (Logical UNit). Это отчасти аналог раздела на жестком диске, но используемый для контроллеров. Благодаря такому подходу сервер видит LUN-диски как физические копии. Полезный подход, поскольку в дальнейшем через LUN можно подключить неограниченное количество физических и облачных мощностей в единую систему, формируя один полноценный диск. С него и будет раздаваться информация по серверам.

Распределение происходит через Disk Manager, или посредством утилит уровня LAN/SAN Mapping. Сам же хост LUN-интерфейс не видит.

Специалисты отмечают, что цеплять все имеющиеся LUN-ы на единый контроллер не стоит — быстро перегрузите систему. Всегда разделяйте мощности.

При создании СХД можно использовать как SATA, так и SAS-диски. Зависит от бюджета и потребностей.

Само же подключение SAN к хосту выполняется по следующему принципу:

физическая компоновка;
программная настройка.

И будь вы хоть трижды заслуженный админ с самым красивым бубном и хронически красными глазами (борода, само собой, должна быть длинной и окладистой), не забывайте действовать по инструкции. Производитель всегда кладет ее в комплект, чтобы минимизировать риски и снизить количество классических обращений в сервисный центр.

Схема подключения СХД к серверу по SCSI, SAS, FC

Опустим различия между производителями и сосредоточимся на сути. Основной процесс создания системы выглядит следующим образом:

Установите контроллер HBA в свободный PCI-слот сервера.
Подключите SAN к соответствующим интерфейсам, которые подразумеваются дисковым вместилищем (SCSI, SAS, FC).
Настройте сетевое подключение, определите порты, используемые для оптической сети.
Скачайте официальное ПО, если оно не предусмотрено в комплекте (зачастую это необходимо, потому как CD-привода в большинстве серверов давно нет).
Инсталлируйте софт с дальнейшей регистрацией, если необходимо.
Подключите HBA хоста и полку с дисками (стойку с накопителями) в одну подсеть на физическом свитче.
Временно отключите файрволл во избежание ненужных ошибок и возмущений системы.
Запустите программу сканирования СХД, которая определит топологию сети, а заодно покажет количество и номера устройств.
Проведите регистрацию хоста на полке. Задачу можно произвести автоматически (рекомендуется), или руками через веб-морду.
Введите IP хоста, привязав его к дисковой полке. Также не забудьте задать пароль администратора при первом старте.
Зайдите в СХД и убедитесь, что все накопители нормально работают в режиме стандартных SCSI-устройств.
Перейдите с помощью браузера к СХД по IP-адресу, а заодно убедитесь в наличии серверов, которые прошли регистрацию в массиве.
Откройте вкладку с инициаторами, которые связывают блоки СХД с хостами. Дополнительно проверьте IP-адреса и, по необходимости, пропишите их вручную.
Свяжите воедино хосты и LUN-ы, только последовательно.

Если все сделано правильно, то возле раздела с HBA появится соответствующая пиктограмма.

Как только разобрались с полкой, самое время перейти в программную часть и заняться настройками. Делается это не так, как на классических домашних ПК. Как говорится, есть нюансы.

Первым делом, необходимо разрезать диски на LUN-ы и оставить 1-2 ГБ свободного места на всякий случай. Далее переведите все накопители в статус «онлайн», но буквы никому не присваивайте — особенности работы. А вот форматировать стоит (NTFS. ExFAT или другой алгоритм на усмотрение администратора).

Завершаем настройку установкой HBA-драйверов под FC, SAS или SCSI.

На этом можно считать, что работы завершены. Системой можно управлять специализированным ПО от производителя, или благодаря веб-морде. Это не принципиально.

Полезные советы

Если вы создаете СХД с нуля, настоятельно рекомендуем закупить железо единого производителя. В идеале — одной серии. Так вы избежите 90% ошибок, нестыковок, проблем совместимости.

Дисковая полка нуждается в дополнительном источнике бесперебойного питания. Встроенный блок отвечает не за питание системы, а за корректную остановку действий в случае форс-мажоров. Не забывайте об этом.

Не стоит подключать к одному LUN-у несколько хостов, если не создаете кластер. Может возникнуть несогласованность записи, а это чревато повреждением целостности информации, чего мы всячески стараемся избежать.

И самое главное. При отсутствии опыта у штатных техников и администраторов, обращайтесь к аккредитированным специалистам. Это не та сфера, где можно по щелчку пальцев настроить все самостоятельно — большое количество смежного оборудования, коннекторов, плат управления и контроллеров. Специалисты Маркет.Марвел, имея большой опыт работы в этом направлении, помогут вам подобрать грамотную конфигурацию и оборудование для неё.

Также вы получите квалифицированную поддержку в момент запуска, и после истечения гарантийного срока. Поверьте: сохранность данных того стоит. Это как раз тот случай, когда эксперименты обходятся дорого.

Если у вас еще остались вопросы по эксплуатации СХД, вы всегда можете задать их нашим специалистам. Закажите консультацию, и мы предоставим вам всю требуемую информацию.

Дисковая полка (JBOD) от LSI

В первую очередь дисковая полка нужна чтобы подключить МНОГО дисков к серверу. В случае с LSI 620J – это 72 диска 2.5″, а если брать LSI 630J – 36 дисков 3.5″. Сам по себе сервер такое кол-во дисков вместить в себя не сможет, хотя мощный RAID контроллер может поддерживать такое количество. Такие объемы информации встречаются, если вы сохраняете потоковое видео или другие мультимедийные проекты.

В виртуализации, большое дисковое пространство необходимо при организации системы хранения данных. Например, у вас есть старенький 1U сервер, который можно выделить под СХД, но дисков в него помещается мало. В таком случае можно докупить в этот сервер RAID контроллер, внешнюю дисковую полку, установить FreeNAS и наслаждаться собственной системой хранения.

Что хорошего в полке от LSI? В нее можно устанавливать не брендовые диски, в отличии от IBM, HP и других производителей, а значит вам не нужно платить двойную цену за гарантию. А гарантия на саму полку 3 года и на диски тоже 3 года идет родная, от производителя.

order

Варианты подключения

Различных способов подключения данных дисковых полок множество, рассмотрим самый простой из них. В сервере находится RAID контроллер с внешним SAS портом, к которому через SAS кабель подключается полка. RAID контроллеры могут быть любые совместимые. Совместимость может быть как со стороны RAID контроллеров (ищем в документации), так и со стороны самой LSI полки. Для примера цена совместимого RAID контроллера LSI 9200-8e — 453$.

Несколько ссылок на документацию:

Готовое решение для малого бизнеса StarWind Native SAN for Hyper-V. Отказоустойчивый кластер без покупки внешнего хранилища.

FreeNAS 8 iSCSI

Эта статья описывает создание сетевого iSCSI хранилища на базе FreeNAS с последующим подключением к гипервизору ESXi 5.0

Есть, как минимум, два основных варианта создания такого хранилища. В первом RAID создается на аппаратном контроллере, а потом уже готовые разделы отдаются через iSCSI сервис в качестве LUN-ов. Во втором, более сложном варианте, RAID собирается софтверный силами FreeNAS и уже на нем создаются разделы, которые можно будет отдать по iSCSI.

Не берусь судить, какой из способов более правильный, каждый это решит для себя сам. Сам FreeNAS в доках первый вариант почти не рассматривает, описывая прелести второго с файловой системой ZFS, он же будет описан и в статье.

order

Система хранения данных для VMware vSphere на базе FreeNAS

Зачем нужна такая СХД?

Ответ на вопрос очевиден, недостаток бюджета на дорогую систему (от 8 000$ ) хранения от известных производителей (HP, IBM, EMC, NetApp…) Этот факт вынуждает администраторов делать СХД самим, чтобы угнаться за технологиями, одной из которых, виртуализации посвящен этот сайт.

UPD. Хотя альтернатива брендовым хранилищам есть, компания QNAP делает бюджетные СХД, с официальной поддержкой VMware vSphere, Citrix XenServer и Microsoft Hyper-V (это очень важный момент, т.к. когда возникают проблемы очень полезным ресурсом оказывается техническая поддержка производителя). У Qnap длинный список оборудования в разных ценовых категориях (от 7 тыс. до 250 тыс. рублей), весь модельный ряд у нас доступен для заказа. Плюсы Qnap в том, что вы можете использовать свои жесткие диски, в том числе и SSD, главный минус — отсутствие второго контроллера, а значит отказоустойчивости нет.

Все довольно просто: сервер + ПО = NAS СХД

Сервер.

старый сервер с большим количеством жестких дисков
старый сервер + новая дисковая полка
новый сервер с большим количеством жестких дисков ( Intel )
сервер + старая полка с дисками (direct attached storage)

order

В сервере должен стоять RAID контроллер, который сможет справиться с тем кол-вом дисков, который вы собираетесь использовать.
Памяти нужен минимум 8Гб, чтобы продуктивно использовать файловую систему ZFS
Процессор подойдет любой.

Программное обеспечение.

Софта для создания NAS(network attached storage) хранилищ в интернете много, какой из продуктов выбрать, решать вам. Принцип работы у них, примерно, один и тот же.

FreeNAS — проект немолодой, зарекомендовавший себя, время от времени выпускает новые версии своего продукта. Что важно, FreeNAS сделан на FreeBSD, о стабильности работы этой ОС ходят правдивые легенды. А нам как раз нужна стабильность, для хранения данных.

Основной функционал FreeNAS 8:

Управление через Web интерфейс
Доступна файловая система Zettabyte (ZFS) и как следствие RAID-Z
Возможность управления через командную строку
Поддержка 10Gbe сети и 10Gbe адаптеров (во многих брендовых хранилищах начального уровня такие скорости не предусмотрены вообще)
Создание мгновенных снимков (Snapshot)
Технология Link Aggregation (Failover, FEC, LACP, Load Balance, Round Robin)
Резервное копирование и восстановление, репликация данных.
Технология Thin Provisioning
Поддержка популярных протоколов

Для VMware vSphere подходят два типа NAS подключений к хранилищу – это NFS и iSCSI. FreeNAS позволяет настроить и использовать оба варианта.

Установкаи настройка NFS

В первую очередь необходимо скачать дистрибутив FreeNAS-8.0-RELEASE-amd64.iso с сайта http://www.freenas.org/. Записать его на диск и начать установку.

Основной момент это выбор места установки, диск или флешка. Использование съемного накопителя является более выгодным, т.к. экономит для вас как минимум один жесткий диск.

Перед нами интерфейс управления системой, понятные иконки, приятные цвета.

Программный или аппаратный (с помощью контроллера) RAID создавать решать вам. В моем случае, в тестовой среде, создаю RAID-Z из трех дисков, файловая система ZFS. Для этого выбираю закладку Storage, иконку Create volume. Открывается окно, где нужно задать имя, выбрать диски , файловую систему и тип RAID. После выбора жмем на кнопку Add Volume и видим, что был создан новый том.

Служба работает, пришла пора ее настроить. Sharing – Unix – Add Unix Share.

Volume path – путь к тому, который будет использоваться
Authorized network or IP address – подсеть или IP адрес(а) для которых разрешен доступ к данной Share
All directories – доступ ко всем директориям
Maproot user – каждый подключающийся пользователь получает права root в этой Share

Возможно, еще потребуется задать сетевые настройки. Network – Interface – Add Interfaces

Теперь система хранения данных готова для подключения к ней хоста ESXi и миграции на нее виртуальной машины.

Подключение NFSstorageк ESXi. Миграция ВМ.

Для подключения NFS share переходим во вкладку Configuration – Storage – Add Storage на хосте ESXi

Тип Хранилища – Network File System

Locate Network file system – вводим настройки, которые были заданы ранее, при конфигурации СХД.

После этого видим наш Storage в списке подключенных хранилищ, можно использовать его. Запускаем процесс миграции (storage vMotion) виртуальной машины. Правой кнопкой мыши по ВМ, Migrate- Change datastore – наш NFS storage. И виртуальная машина меняет свое расположение без простоев.

Как подключить СХД к серверу

Алгоритм подключения системы хранения данных к хосту достаточно универсален. Безусловно, существуют нюансы настройки, которые зависят от конкретного оборудования и топологии вашей сети.

Подключение СХД к хосту делится на два этапа:

Перед началом внимательно ознакомьтесь с документацией производителя на полку. Она подробно описывает все действия. Пример документации от Oracle .

Техническая информация

SAN состоит из нескольких HDD и контроллеров. Для равномерного распределения нагрузки и обеспечения надёжности стараются использовать два HBA (Host Bus Adapter), несколько путей ввода-вывода, как минимум два интерфейса.

Главным правилом подключения СХД к хосту является использование как минимум двух связей и путей для каждого устройства.

Свичи обеспечивают для серверов доступ только к предназначенным им ресурсам. Для этого в SAN каждому интерфейсу и каждому LUN-у присваивается World Wide Name (WWN) — подобие MAC-адреса.

LUN — Logical UNit — с точки зрения контроллера — это аналог раздела на жёстком диске. Сервер видит их как физические диски. Можно подключить все хосты к одному диску или раздать LUN-ы по серверам.

Распределение выполняется в Disk Manager конкретного сервера или с помощью утилит (LAN Mapping, SAN Mapping и т.п) хосту принудительно запрещается видеть LUN.

Не вешайте все LUN-ы на один контроллер. Разделите особо нагруженные LUN-ы по разным.

При создании SAN можно использовать разные типы HDD. Помедленнее и подешевле, типа SAS или SATA, — для ОС сервера и файловых ресурсов; FC — для скоростных приложений и баз данных.

Алгоритм подключения

В сервер установите HBA-контроллер.

Подключите СХД с помощью кабелей соответствующих интерфейсам, установленным на дисковой хранилище (FC, SAS, SCSI) по вашей схеме.

Проведите настройку сети, правильно установите типы используемых портов для оптической сети.

Скачайте с сайта производителя ПО. Однако, оно может идти в комплекте, но это не обязательно.

Установите ПО. Пройдите регистрацию, если требуется.

Включите HBA хоста и дисковую полку в одну подсеть на одном физическом коммутаторе.

Запустите утилиту сканирования SAN для определения топологии. Она покажет все устройства и их номера.

Зарегистрируйте хост на полке. Это можно сделать с помощью утилиты или вручную через веб-интерфейс полки. Автоматически — корректней.

Введите в браузере IP-адрес хоста и сделайте привязку полки. При первом подключении может понадобиться создать пароль админа.

Зайдите в систему управления дисками на хосте, убедитесь, что подключенные диски видны. Они выглядят там как обычные SCSI.

Перейдите по IP-адресу СХД в браузере. Проверьте наличие серверов, регистрация которых уже выполнена.

Найдите вкладку с инициаторами, связывающими хосты с блоками СХД. Проверьте IP-адреса. Если нужно, перенастройте их вручную.

Свяжите LUN-ы и хосты. Действия типа: Create -> Connect LUNs -> Connect Hosts.

Посмотрите наличие отметки около HBA, сигнализирующей о корректности подключения.

На этом настройка полки закончена.

Нарежьте диски на LUN-ы. Их можно сделать много. Оставьте около 1 Гб свободного места

Переведите диски в режим онлайн. Буквы не присваивайте.

Отформатируйте диски в нужный формат, например, NTFS.

Установите драйверы HBA (FC, SAS или SCSI).

Подключение завершено. Можно управлять системой с помощью специального софта или через веб-интерфейс.

Подключение СХД к серверу: пошаговая инструкция

Общие сведения и определения
Схема подключения СХД к серверу по SCSI, SAS, FC
Полезные советы

Подключение СХД к серверу: пошаговая инструкция

Общие сведения и определения

При создании СХД можно использовать как SATA, так и SAS-диски. Зависит от бюджета и потребностей.

Само же подключение SAN к хосту выполняется по следующему принципу:

физическая компоновка;
программная настройка.

Схема подключения СХД к серверу по SCSI, SAS, FC

Установите контроллер HBA в свободный PCI-слот сервера.
Подключите SAN к соответствующим интерфейсам, которые подразумеваются дисковым вместилищем (SCSI, SAS, FC).
Настройте сетевое подключение, определите порты, используемые для оптической сети.
Скачайте официальное ПО, если оно не предусмотрено в комплекте (зачастую это необходимо, потому как CD-привода в большинстве серверов давно нет).
Инсталлируйте софт с дальнейшей регистрацией, если необходимо.
Подключите HBA хоста и полку с дисками (стойку с накопителями) в одну подсеть на физическом свитче.
Временно отключите файрволл во избежание ненужных ошибок и возмущений системы.
Запустите программу сканирования СХД, которая определит топологию сети, а заодно покажет количество и номера устройств.
Проведите регистрацию хоста на полке. Задачу можно произвести автоматически (рекомендуется), или руками через веб-морду.
Введите IP хоста, привязав его к дисковой полке. Также не забудьте задать пароль администратора при первом старте.
Зайдите в СХД и убедитесь, что все накопители нормально работают в режиме стандартных SCSI-устройств.
Перейдите с помощью браузера к СХД по IP-адресу, а заодно убедитесь в наличии серверов, которые прошли регистрацию в массиве.
Откройте вкладку с инициаторами, которые связывают блоки СХД с хостами. Дополнительно проверьте IP-адреса и, по необходимости, пропишите их вручную.
Свяжите воедино хосты и LUN-ы, только последовательно.

Если все сделано правильно, то возле раздела с HBA появится соответствующая пиктограмма.

Завершаем настройку установкой HBA-драйверов под FC, SAS или SCSI.

Как подключить дисковую полку к серверу

Настройка системы хранения EMC VNX 5100

Как подключить полку к серверу

Отключаем полку HPE MSA 2040 ES LFF Disk Enclosure от СХД и подключаем её к серверу

У нас есть

Нужно для подключения полки к серверу

Сборка

Разница между СХД и полкой и что такое JBOD

СХД – система хранения данных – это не полка

Полка – это не СХД

Вывод: если не хватает места для дисков – можно просто подключить к серверу полку. Новый сервер покупать не обязательно.

Ещё несколько нюансов:

Подключение СХД к серверу: пошаговая инструкция

Общие сведения и определения

Схема подключения СХД к серверу по SCSI, SAS, FC

Полезные советы

Дисковая полка (JBOD) от LSI

FreeNAS 8 iSCSI

Система хранения данных для VMware vSphere на базе FreeNAS

Установкаи настройка NFS

Подключение NFSstorageк ESXi. Миграция ВМ.

Как подключить СХД к серверу

Техническая информация

Алгоритм подключения

Рекомендации

Подключение СХД к серверу: пошаговая инструкция

Общие сведения и определения

Схема подключения СХД к серверу по SCSI, SAS, FC

Полезные советы

Добавить комментарий Отменить ответ