Системы хранения данных. Типы подключения систем хранения данных Система хранения данных назначение

– это аппаратно-программное решение для надежного хранения данных и предоставление быстрого и надежного доступа к ним.

Реализация аппаратного обеспечения в системах хранения данных (СХД) схоже с реализацией архитектуры персонального компьютера. Зачем же тогда вообще применять СХД в архитектуре локальной сети организации, почему нельзя обеспечить, внедрить СХД на базе обычного ПК?

СХД как дополнительный узел локальной сети на базе персоналки или даже мощного сервера существуют уже давно.

Простейшее предоставление доступа к данным по протоколам FTP (протокол передачи фалов) и SMB (протокол удаленного доступа к сетевым ресурсам) поддержка которых есть во всех современных операционных системах.

Почему же тогда вообще появились СХД ?

Все просто , появление СХД связано с отставанием в развитии и скорости работы постоянно запоминающих устройств (жестких магнитных дисков) от центрального процессора и оперативной памяти. Самым узким местом в архитектуре ПК до сих пор считается жесткий диск, даже не смотря на мощное развитие SATA (последовательного интерфейса) до скорости обмена в 600 Мбайт/с (SATA3 ), физическое устройство накопителя представляет собой пластину, доступ к данным на которой нужно получить с помощью считывающих головок, что очень медленно. Последние недостатки на текущий момент решены накопителями SSD (не механическое запоминающее устройство), построенных на основе микросхем памяти. Кроме высокой цены на SSD у них есть, на мой взгляд, на текущий момент времени, недостаток в надежности. Инженеры СХД предложили вытеснить устройства хранения в отдельный элемент, а оперативную память таких устройств использовать для хранения часто меняющихся данных по специальным алгоритмам, для чего понадобилась программная составляющая продукта. В итоге системы хранения данных работают быстрее, чем накопители на жестких дисках в серверах, а вынос устройства хранения (дисковой подсистемы в отдельный элемент) повлияло на надежность и централизацию системы в целом.

Надежность обеспечил факт реализации в отдельном устройстве дисковой системы, которая работая с программной составляющей, выполняет одну функцию – это операции ввода/вывода и хранения данных.

Кроме простого принципа – одно устройство, одна функция обеспечивающее надежность. Все основные узлы: блоки питания, контроллеры системы хранения данных дублируют, что конечно еще больше увеличивает надежность системы, но сказывается на цене конечного продукта.

Вынос дисковой системы в отдельный узел позволяет централизовать устройства хранения . Как правило, без отдельного сетевого хранилища, домашние папки пользователей, почта, базы данных хранятся на отдельных узлах, как правило, серверах в сети, что очень неудобно, не надежно. Приходится делать резервные копии, дублировать данные на резервный сервер в сети, что кроме расходов на поддержку и аппаратуру, программное обеспечение, занимает часть пропускной способности сети.

Вот как это выглядит:

С отдельным СХД:

В зависимости от способа, технологии подключения СХД в информационную сеть. СХД подразделяют на: DAS, NAS, SAN

DAS (Direct Attached Storage) – способ подключения, который ничем не отличается от стандартного подключения жесткого диска, массивов дисков (RAID) к серверу или ПК. Как правило, для подключения используется SAS .

SAS – фактически, протокол рассчитанный на замену SCSI, использует последовательный интерфейс в отличии от SCSI, но команды используются те же самые, что и в SCSI. SAS имеет большую пропускную способность благодаря канальным соединениям в одном интерфейсе.

NAS (Network Attached Storage) – дисковая система подключается к общей LAN сети, используется транспортный протокол TCP, поверх модели работают протоколы SMB, NFS (удаленный доступ к файлам и принтерам).

SAN (Storage Area Network) – это выделенная сеть объединяющая устройства хранения с серверами. Работает с использованием протокола Fibre Channel либо iSCSI .

С Fibre Channel все понятно – оптика. А вот iSCSI – инкапсуляция пакетов в протокол IP, позволяет создавать сети хранения данных на основе Ethernet инфраструктуры, скорость передачи 1Gb и 10GB. Скорости работы iSCSI по мнению разработчиков должно хватать почти для всех бизнес приложений. Для подключения сервера к СХД по iSCSI требуются адаптеры с поддержкой iSCSI . До каждого устройства при использовании iSCSI прокладывают как минимум два маршрута, применяя VLAN , каждому устройству и LUN (определяет виртуальный раздел в массиве, используется при адресации) присваивается адрес (World Wide Name ).

Отличие NAS от SAN в том, что в сети SAN при операциях ввода/вывода данные считываются и записываются блоками. СХД не имеет никакого представления об устройстве файловых систем.

Из наиболее брендовых вендоров на рынке устройств хранения можно выделить: NetApp, IBM, HP, DELL, HITACHI, EMC.

Для нашего проекта требуется система хранения данных со следующими характеристиками:

  • Объем 1Тб для файлов, 1Тб для операционных систем серверов и баз данных, 300 – 500 Гб, для резервных серверов + запас. Итого минимум 3Тб дискового пространства
  • Поддержка протоколов SMB и NFS, для раздачи общих файлов для пользователей без участия серверов
  • Если хотим загрузку гипервизора с СХД , нужен как минимум протокол iSCSI
  • По идее еще нужно учитывать такой важный параметр как скорость ввода вывода (IO) который сможет обеспечить СХД. Прикинуть это параметр можно измерением IO на действующем железе, например программой IOMeter.

Нужно учитывать, что кластеризация от Microsoft работает только через Fibre Channel.

Вот список фирм и железок для выбора:

Asustor

Asustor AS 606T , AS 608T , 609 RD (кроме возможности установки до 8-ми дисков емкостью 4Tb заявлена поддержка VMware, Citrix и Hyper-V.

Аппаратная составляющая

CPU Intel Atom 2.13

RAM 1GB (3GB) DDR3

Hard 2.5, 3.5, SATA 3 or SSD

Lan Gigabit Ethernet – 2

ЖК-Экран, HDMI

Сеть

Сетевые протоколы

Файловая система

Для встроенных жестких дисков: EXT4, Для внешних жестких дисков: FAT32, NTFS, EXT3, EXT4, HFS+

Хранение

Поддержка нескольких томов с резервными дисками

Тип тома: Single disk, JBOD, RAID 0, RAID 1, RAID 5, RAID 6, RAID 10

Поддержка онлайн-миграции уровней RAID-массива

Максимальное число целей: 256

Максимальное число LUN: 256

Маскирование целей

Отображение LUN

Монтирование ISO-образов

Поддержка MPIO и MCS

Постоянное резервирование (SCSI-3)

Управление дисками

Поиск поврежденных блоков по графику

Сканирование S.M.A.R.T по графику

Поддерживаемые ОС

Windows XP, Vista, 7, 8, Server 2003, Server 2008, Server 2012

Mac OS X 10.6 Onwards

UNIX, Linux, and BSD

Резервное копирование

Поддержка режима Rsync (удаленной синхронизации)

Резервное копирование в «облако»

Резервное копирование по FTP

Резирвирование на внешние носители

Резервное копирование одним касанием

Системное администрирование

Тип журнала регистрации: системный журнал, журнал подключений, журнал доступа к файлам

Регистратор действий пользователя в реальном времени

Системный монитор реального времени

Сетевая корзина

Дисковая квота пользователей

Виртуальный диск (монтирование образов ISO, макс. 16)

Поддержка ИБП

Управление доступом

Максимальное число пользователей: 4096

Максимальное число групп: 512

Максимальное число папок общего доступа: 512

Максимальное число одновременных подключений: 512

Поддержка Windows Active Directory

Безопасность

Брандмауэр: предотвращение несанкционированного доступа

Сетевой фильтр: предотвращение сетевых атак

Уведомления об угрозах: E-mail, SMS

Защищенные подключения: HTTPS, FTP через SSL/TLS, SSH, SFTP, Rsync через SSH

Операционная система ADM с возможностью подключения дополнительных модулей через app central

Модели AS 604RD , AS 609RD в отличие от AS 606T , AS 608T , не имеют в своем составе ЖК-дисплея, предназначены для установки в стойку и имеют резервный блок питания, заявлена поддержка платформ виртуализации

Netgear

Ready Nas 2100 , Ready Nas 3100 , Ready Nas Pro 6

Аппаратная составляющая

CPU Intel SOC 1ГГц

Hard 2.5, 3.5, SATA 2 or SSD

Lan Gigabit Ethernet – 2

Сеть

Сетевые протоколы

CIFS/SMB, AFP, NFS, FTP, WebDAV, Rsync, SSH, SFTP, iSCSI, HTTP, HTTPS

Файловая система

Для встроенных жестких дисков: BTRFS, Для внешних жестких дисков: FAT32, NTFS, EXT3, EXT4, HFS+

Хранение

Поддержка онлайн-расширения емкости RAID-массива

Максимальное число целей: 256

Максимальное число LUN: 256

Маскирование целей

Отображение LUN

Управление дисками

Ёмкость диска, производительность, мониторинг загрузки

Сканирование для поиска плохих блоков на дисках

Поддержка HDD S.M.A.R.T.

Он-лайн коррекция данных на дисках

Поддержка режима Disk Scrubbing

Поддержка дефрагментации

Сообщения (от сервиса SMTP через e-mail, SNMP, syslog, локальный журнал)

Автоматическое выключение (HDD, вентиляторов, ИБП)

Восстановление работоспособности при возобновлении питания

Поддерживаемые ОС

Microsoft Windows Vista (32/64-bit), 7 (32/64-bit), 8 (32/64-bit), Microsoft Windows Server 2008 R2/2012, Apple OS X, Linux/Unix, Solaris, Apple iOS, Google Android)

Резервное копирование

Неограниченное число snapshot для непрерывной защиты.

Восстановление снимков в любой момент времени. Через графический интерфейс пользователя (консоль администратора), ReadyCLOUD, или проводник Windows

Возможность создания snapshot вручную или через планировщик

Синхронизация файлов через R-sync

Облачное управление Remote Replication(ReadyNAS to ReadyNAS). Не требует лицензий для устройств работающих под oперационной системой Radiator OS v6.

Резервирование в “горячем” режиме

Поддержка eSATA

Поддержка резервного копирования на внешние диски to e (USB/eSATA)

Поддержка технологии Remote Apple Time Machine backup and restore (через ReadyNAS Remote)

Поддержка сервиса ReadyNAS Vault Cloud (опционально)

Поддержка синхронизации через ReadyDROP (синхронизация файлов Mac/Windows на ReadyNAS)

Поддержка сервиса DropBox для файловой синхронизации (требуется учётная запись на сервисе DropBox)

Системное администрирование

ReadyCLOUD для обнаружения и управления устройствами

RAIDar –агент для обнаружения устройств в сетиt (Windows/Mac)

Сохранение и восстановление файла конфигураций

Журнал событий

Поддержка сообщений для сервера syslog

Поддержка сообщений для SMB

Графический интерфейс пользователя на русском и английском языках

Genie+ marketplace. Встроенный магазин приложений для повышения функциональности устройства

Поддержка Unicode- символов

Дисковый менеджер

Поддержка Thin provision Shares and LUNs

Мгновенное выделение ресурсов

Управление доступом

Максимальное число пользователей: 8192

Максимальное число групп: 8192

Максимальное количество папок предоставляемых для сетевого доступа: 1024

Максимальное количество подключение: 1024

Доступ к папкам и файлам на основе ACL

Расширенные разрешения для папок и подпапок на основе ACL для CIFS / SMB, AFP, FTP, Microsoft Active Directory (AD) Domain Controller Authentication

Собственные списки доступа

Списки доступа ReadyCLOUD на основе ACL

Операционная система

ReadyNAS OS 6 базируется на Linux 3.x

Ready Nas 3100 отличает Ready Nas 2100 объемом памяти 2Гб ECC

Ready Nas Pro 6 – хранилище с шестью слотами, процессор Intel Atom D510, память DDR2 1Гбайт

Qnap

TS-869U-RP , TS-869 PRO

Аппаратная составляющая

CPU Intel Atom 2.13ГГц

Hard 2.5, 3.5, SATA 3 or SSD

Lan Gigabit Ethernet – 2

Сеть

IPv4, IPv6, Supports 802.3ad and Six Other Modes for Load Balancing and/or Network Failover, Vlan

Сетевые протоколы

CIFS/SMB, AFP, NFS, FTP, WebDAV, Rsync, SSH, SFTP, iSCSI, HTTP, HTTPS

Файловая система

Для встроенных жестких дисков: EXT3, EXT4, Для внешних жестких дисков: FAT32, NTFS, EXT3, EXT4, HFS+

Хранение

Тип тома: RAID 0, RAID 1, RAID 5, RAID 6, RAID 10

Поддержка онлайн-расширения емкости RAID-массива

Максимальное число целей: 256

Максимальное число LUN: 256

Маскирование целей

Отображение LUN

Инициатор iSCSI (Виртуальный диск)

Stack Chaining Master

До 8 виртуальных дисков

Управление дисками

Увеличение емкости дискового пространства RAID-массива без потери данных

Сканирование на сбойные блоки

Функция восстановления RAID-массива

Поддержка Bitmap

Поддерживаемые ОС

Резервное копирование

Репликация в реальном времени (RTRR)

Работает как в качестве RTRR сервера, так и клиента

Поддерживает резервное копирование в реальном времени и по расписанию

Возможны фильтрация файлов, сжатие и шифрование

Кнопка копирования данных с/на внешнее устройство

Поддержка Apple Time Machine с управлением резервирования

Репликация ресурсов на уровне блоков (Rsync)

Работает как в качестве сервера, так и клиента

Защищенная репликация между серверами QNAP

Резервное копирование на внешние носители

Резервное копирование на облачные системы хранения данных

Приложение NetBak Replicator для Windows

Поддержка Apple Time Machine

Системное администрирование

Веб-интерфейс на технологии AJAX

Подключение по HTTP/ HTTPS

Мгновенные уведомления по E-mail и SMS

Управление системой охлаждения

DynDNS и специализированный сервис MyCloudNAS

Поддержка ИБП с SNMP-управлением (USB)

Поддержка сетевых ИБП

Монитор ресурсов

Сетевая корзина для CIFS/ SMB и AFP

Подробные журналы событий и подключений

Список активных пользователей

Клиент Syslog

Обновление микропрограммы

Сохранение и восстановление системных настроек

Восстановление заводских настроек

Управление доступом

До 4096 учетных записей пользователей

До 512 групп пользователей

До 512 сетевых ресурсов

Пакетное добавление пользователей

Импорт/экспорт пользователей

Задание параметров квотирования

Управление правами доступа на вложенные папки

Операционная система

TS – 869 Pro – модель без резервного блока питания, объем памяти 1Гб

Synology

RS 2212 , DS1813

Аппаратная составляющая

CPU Intel Core 2.13ГГц

Hard 2.5, 3.5, SATA 2 or SSD

Lan Gigabit Ethernet – 2

Сеть

IPv4, IPv6, Supports 802.3ad and Six Other Modes for Load Balancing and/or Network Failover

Сетевые протоколы

CIFS/SMB, AFP, NFS, FTP, WebDAV, SSH

Файловая система

Для встроенных жестких дисков: EXT3, EXT4, Для внешних жестких дисков: NTFS, EXT3, EXT4

Хранение

Тип тома: RAID 0, RAID 1, RAID 5, RAID 6, RAID 10

Максимальное число целей: 512

Максимальное число LUN: 256

Управление дисками

Изменение уровня RAID без остановки работы системы

Поддерживаемые ОС

Windows 2000 и последующие версии, Mac OS X 10.3 и последующие версии, Ubuntu 9.04 и последующие версии

Резервное копирование

Сетевое резервирование

Локальное резервирование

Синхронизация папок общего доступа

Резервирование рабочего стола

Системное администрирование

Уведомление о событиях системы по SMS, E-mail

Пользовательская квота

Мониторинг ресурсов

Управление доступом

До 2048 учетных записей пользователей

До 256 групп пользователей

До 256 сетевых ресурсов

Операционная система

DS1813 – 2 Гб оперативной памяти, 4 Gigabit, поддержка HASP 1C, поддержка дисков 4Тб

Thecus

N8800PRO v2 , N7700PRO v2 , N8900

Аппаратная составляющая

CPU Intel Core 2 1.66ГГц

Lan Gigabit Ethernet – 2

Возможность LAN 10Гб

Сеть

IPv4, IPv6, Supports 802.3ad and Six Other Modes for Load Balancing and/or Network Failover

Сетевые протоколы

CIFS/SMB, NFS, FTP

Файловая система

Для встроенных жестких дисков: EXT3, EXT4, Для внешних жестких дисков: EXT3, EXT4, XFS

Хранение

Тип тома: RAID 0, RAID 1, RAID 5, RAID 6, RAID 10, RAID 50, RAID 60

Поддержка онлайн-расширения емкости RAID-массива

Маскирование целей

Отображение LUN

Управление дисками

Контроль состояния дисков (S.M.A.R.T)

Сканирование на сбойные блоки

Возможность монтирования ISO-образов

Поддерживаемые ОС

Microsoft Windows 2000, XP, Vista (32/ 64 bit), Windows 7 (32/ 64 bit), Server 2003/ 2008

Резервное копирование

Acronis True Image

Утилита резервного копирования от Thecus

Чтение с оптического диска на Nas

Системное администрирование

Серверный веб-интерфейс администрирования

Управление доступом

Поддержка ADS

Операционная система

N7700PRO v2 – модель без резервного блока питания

N8900 – новая модель с поддержкой SATA 3 и SAS

Исходя из данных выше, в необходимости не менее 3-x Tb на текущий момент, а при обновлении ОС и программ эту цифру можно умножить на два, то нужно дисковое хранилище с емкостью не менее 6Tb , и с возможностью роста. Поэтому с закладкой на будущее и организации массива RAID 5 итоговой цифрой является необходимость в 12 Tb . При поддержке дисковой системы жестких дисков емкостью 4Tb, нужна система с не менее шестью отсеками для дисков.

Выбор был существенно уменьшен следующими моделями: AS 609RD , Ready NAS 3200 , TS-869U-RP , RS-1212RP+ , N8900 . Все модели имеют в своем составе дополнительный блок питания . И заявленную производителем поддержку известных платформ виртуализации . Наиболее интересной показалась модель от NetGear - Ready NAS 3200 , так как только эта модель кроме SMART поддерживала хоть какие та дополнительные технологии для работы с дисками кроме SMART и память с ECC, но цена вылетала за 100 000 руб, к тому же были сомнения по поводу возможности работы в ней дисков 4Tb и SATA3. Цена за RS-1212RP+ , тоже вылетала выше 100 тысяч. AS 609RD – игрок на рынке систем хранения очень новый, поэтому не известно как поведет себя эта СХД .

Из чего оставалось только две системы на выбор : TS-869 U- RP , N8900 .

TS-869U-RP – на текущий момент стоит порядка 88 000 руб.

N8900 – цена 95 400 руб, имеет массу преимуществ в сравнении с TS-869U-RP – это поддержка как дисков SATA так и SAS , возможность дополнительной установки адаптера 10 Gb , более мощный двуядерный процессор, поддержка дисков SATA3 4Tb. Кроме того существует резервирование прошивки на резервную микросхему, что дает более выгодную надежность по сравнению с другими системами.

  • Назад

Shkera

С повседневным усложнением сетевых компьютерных систем и глобальных корпоративных решений мир начал требовать технологий, которые бы дали толчок к возрождению корпоративных систем хранения информации (сторедж-систем). И вот, одна единая технология приносит в мировую сокровищницу достижений в области сторедж невиданное ранее быстродействие, колоссальные возможности масштабирования и исключительные преимущества общей стоимости владения. Обстоятельства, которые сформировались с появлением стандарта FC-AL (Fibre Channel - Arbitrated Loop) и SAN (Storage Area Network), которая развивается на его основе, обещают революцию в дата-ориентированных технологиях компьютинга.

«The most significant development in storage we"ve seen in 15 years»

Data Communications International, March 21, 1998

Формальное определение SAN в трактовке Storage Network Industry Association (SNIA):

«Сеть, главной задачей которой является передача данных между компьютерными системами и устройствами хранения данных, а также между самими сторедж-системами. SAN состоит из коммуникационной инфраструктуры, которая обеспечивает физическую связь, а также отвечает за уровень управления (management layer), который объединяет связи, сторедж и компьютерные системы, осуществляя передачу данных безопасно и надежно».

SNIA Technical Dictionary, copyright Storage Network Industry Association, 2000

Варианты организации доступа к сторедж-системам

Различают три основных варианта организации доступа к системам хранения:

  • SAS (Server Attached Storage), сторедж, присоединенный к серверу;
  • NAS (Network Attached Storage), сторедж, подсоединенный к сети;
  • SAN (Storage Area Network), сеть хранения данных.

Рассмотрим топологии соответствующих сторедж-систем и их особенности.

SAS

Сторедж-система, присоединенная к серверу. Знакомый всем, традиционный способ подключения системы хранения данных к высокоскоростному интерфейсу в сервере, как правило, к параллельному SCSI интерфейсу.

Рисунок 1. Server Attached Storage

Использование отдельного корпуса для сторедж-системы в рамках топологии SAS не является обязательным.

Основное преимущество сторедж, подсоединенного к серверу, в сравнении с другими вариантами - низкая цена и высокое быстродействие из расчета один сторедж для одного сервера. Такая топология является самой оптимальной в случае использования одного сервера, через который организуется доступ к массиву данных. Но у нее остается ряд проблем, которые побудили проектировщиков искать другие варианты организации доступа к системам хранения данных.

К особенностям SAS можно отнести:

  • Доступ к данных зависит от ОС и файловой системы (в общем случае);
  • Сложность организации систем с высокой готовностью;
  • Низкая стоимость;
  • Высокое быстродействие в рамках одной ноды;
  • Уменьшение скорости отклика при загрузке сервера, который обслуживает сторедж.

NAS

Сторедж-система, подсоединенная к сети. Этот вариант организации доступа появился сравнительно недавно. Основным его преимуществом является удобство интеграции дополнительной системы хранения данных в существующие сети, но сам по себе он не привносит сколь-нибудь радикальных улучшений в архитектуру сторедж. Фактически NAS есть чистый файл-сервер, и сегодня можно встретить немало новых реализаций сторедж типа NAS на основе технологии тонкого сервера (Thin Server).


Рисунок 2. Network Attached Storage.

Особенности NAS:

  • Выделенный файл-сервер;
  • Доступ к данным не зависит от ОС и платформы;
  • Удобство администрирования;
  • Максимальная простота установки;
  • Низкая масштабируемость;
  • Конфликт с трафиком LAN/WAN.

Сторедж, построенный по технологии NAS, является идеальным вариантом для дешевых серверов с минимальным набором функций.

SAN

Сети хранения данных начали интенсивно развиваться и внедряться лишь с 1999 года. Основой SAN является отдельная от LAN/WAN сеть, которая служит для организации доступа к данным серверов и рабочих станций, занимающихся их прямой обработкой. Такая сеть создается на основе стандарта Fibre Channel, что дает сторедж-системам преимущества технологий LAN/WAN и возможности по организации стандартных платформ для систем с высокой готовностью и высокой интенсивностью запросов. Почти единственным недостатком SAN на сегодня остается относительно высокая цена компонент, но при этом общая стоимость владения для корпоративных систем, построенных с использованием технологии сетей хранения данных, является довольно низкой.


Рисунок 3. Storage Area Network.

К основным преимуществам SAN можно отнести практически все ее особенности:

  • Независимость топологии SAN от сторедж-систем и серверов;
  • Удобное централизованное управление;
  • Отсутствие конфликта с трафиком LAN/WAN;
  • Удобное резервирование данных без загрузки локальной сети и серверов;
  • Высокое быстродействие;
  • Высокая масштабируемость;
  • Высокая гибкость;
  • Высокая готовность и отказоустойчивость.

Следует также заметить, что технология эта еще довольно молодая и в ближайшее время она должна пережить немало усовершенствований в области стандартизации управления и способов взаимодействия SAN подсетей. Но можно надеяться, что это угрожает пионерам лишь дополнительными перспективами первенства.

FC как основа построения SAN

Подобно LAN, SAN может создаваться с использованием различных топологий и носителей. При построении SAN может использоваться как параллельный SCSI интерфейс, так и Fibre Channel или, скажем, SCI (Scalable Coherent Interface), но своей все возрастающей популярностью SAN обязана именно Fibre Channel. В проектировании этого интерфейса принимали участие специалисты со значительным опытом в разработке как канальных, так и сетевых интерфейсов, и им удалось объединить все важные положительные черты обеих технологий для того, чтобы получить что-то в самом деле революционно новое. Что именно?

Основные ключевые особенности канальных:

  • Низкие задержки
  • Высокие скорости
  • Высокая надежность
  • Топология точка-точка
  • Небольшие расстояния между нодами
  • Зависимость от платформы
и сетевых интерфейсов:
  • Многоточечные топологии
  • Большие расстояния
  • Высокая масштабируемость
  • Низкие скорости
  • Большие задержки
объединились в Fibre Channel:
  • Высокие скорости
  • Независимость от протокола (0-3 уровни)
  • Большие расстояния
  • Низкие задержки
  • Высокая надежность
  • Высокая масштабируемость
  • Многоточечные топологии

Традиционно сторедж интерфейсы (то, что находится между хостом и устройствами хранения информации) были преградой на пути к росту быстродействия и увеличению объема систем хранения данных. В то же время прикладные задачи требуют значительного прироста аппаратных мощностей, которые, в свою очередь, тянут за собой потребность в увеличении пропускной способности интерфейсов для связи со сторедж-системами. Именно проблемы построения гибкого высокоскоростного доступа к данным помогает решить Fibre Channel.

Стандарт Fibre Channel был окончательно определен за последние несколько лет (с 1997-го по 1999-й), на протяжении которых была проведена колоссальная работа по согласованию взаимодействия производителей различных компонент, и было сделано все необходимое, чтобы Fibre Channel превратился из чисто концептуальной технологии в реальную, которая получила поддержку в виде инсталляций в лабораториях и вычислительных центрах. В году 1997 были спроектированы первые коммерческие образцы краеугольных компонент для построения SAN на базе FC, таких как адаптеры, хабы, свичи и мосты. Таким образом, уже начиная с 1998-го года FC используется в коммерческих целях в деловой сфере, на производстве и в масштабных проектах реализации систем, критичных к отказам.

Fibre Channel - это открытый промышленный стандарт высокоскоростного последовательного интерфейса. Он обеспечивает подключение серверов и сторедж-систем на расстоянии до 10 км (при использовании стандартного оснащения) на скорости 100 MB/s (на выставке Cebit"2000 были представлены образцы продукции, которые используют новый стандарт Fibre Channel со скоростями 200 MB/s на одно кольцо, а в лабораторных условиях уже эксплуатируются реализации нового стандарта со скоростями 400 MB/s, что составляет 800 MB/s при использовании двойного кольца). (На момент публикации статьи ряд производителей уже начал отгружать сетевые карточки и свичи на FC 200 MB/s.) Fibre Channel одновременно поддерживает целый ряд стандартных протоколов (среди которых TCP/IP и SCSI-3) при использовании одного физического носителя, который потенциально упрощает построение сетевой инфраструктуры, к тому же это предоставляет возможности для уменьшения стоимости монтажа и обслуживания. Тем не менее использование отдельных подсетей для LAN/WAN и SAN имеет ряд преимуществ и является рекомендованным по умолчанию.

Одним из важнейших преимуществ Fibre Channel наряду со скоростными параметрами (которые, кстати, не всегда являются главными для пользователей SAN и могут быть реализованы с помощью других технологий) является возможность работы на больших расстояниях и гибкость топологии, которая пришла в новый стандарт из сетевых технологий. Таким образом, концепция построения топологии сети хранения данных базируется на тех же принципах, что и традиционные сети, как правило, на основе концентраторов и коммутаторов, которые помогают предотвратить падение скорости при возрастании количества нод и создают возможности удобной организации систем без единой точки отказов.

Для лучшего понимания преимуществ и особенностей этого интерфейса приведем сравнительную характеристику FC и Parallel SCSI в виде таблицы.

Таблица 1. Сравнение технологий Fibre Channel и параллельного SCSI

В стандарте Fibre Channel предполагается использование разнообразных топологий, таких как точка-точка (Point-to-Point), кольцо или FC-AL концентратор (Loop или Hub FC-AL), магистральный коммутатор (Fabric/Switch).

Топология point-to-point используется для подсоединения одиночной сторедж-системы к серверу.

Loop или Hub FC-AL - для подсоединения множественных сторедж устройств к нескольким хостам. При организации двойного кольца увеличивается быстродействие и отказоустойчивость системы.

Коммутаторы используются для обеспечения максимального быстродействия и отказоустойчивости для сложных, больших и разветвленных систем.

Благодаря сетевой гибкости в SAN заложена чрезвычайно важная особенность - удобная возможность построения отказоустойчивых систем.

Предлагая альтернативные решения для систем хранения данных и возможности по объединению нескольких сторедж для резервирования аппаратных средств, SAN помогает обеспечивать защиту аппаратно-программных комплексов от аппаратных сбоев. Для демонстрации приведем пример создания двухнодовой системы без точек отказов.


Рисунок 4. No Single Point of Failure.

Построение трех- и более нодовых систем осуществляется простым добавлением в FC сеть дополнительных серверов и подключением их к обоим концентраторам/ коммутаторам).

При использовании FC построение устойчивых к сбоям (disaster tolerant) систем становится прозрачным. Сетевые каналы и для сторедж, и для локальной сети можно проложить на основе оптоволокна (до 10 км и больше с использованием усилителей сигнала) как физического носителя для FC, при этом используется стандартная аппаратура, которая дает возможность значительно уменьшить стоимость подобных систем.

Благодаря возможности доступа ко всем компонентам SAN из любой ее точки мы получаем чрезвычайно гибко управляемую сеть данных. При этом следует заметить, что в SAN обеспечивается прозрачность (возможность видеть) всех компонентов вплоть до дисков в сторедж-системах. Эта особенность подтолкнула производителей компонентов к использованию своего значительного опыта в построении систем управления для LAN/WAN с тем, чтобы заложить широкие возможности по мониторингу и управлению во все компоненты SAN. Эти возможности включают в себя мониторинг и управление отдельных нод, сторедж компонентов, корпусов, сетевых устройств и сетевых подструктур.

В системе управления и мониторинга SAN используются такие открытые стандарты, как:

  • SCSI command set
  • SCSI Enclosure Services (SES)
  • SCSI Self Monitoring Analysis and Reporting Technology (S.M.A.R.T.)
  • SAF-TE (SCSI Accessed Fault-Tolerant Enclosures)
  • Simple Network Management Protocol (SNMP)
  • Web-Based Enterprise Management (WBEM)

Системы, построенные с использованием технологий SAN, не только обеспечивают администратору возможность следить за развитием и состоянием сторедж ресурсов, но и открывают возможности по мониторингу и контролю трафика. Благодаря таким ресурсам программные средства управления SAN реализуют наиболее эффективные схемы планирования объема сторедж и балансирование нагрузки на компоненты системы.

Сети хранения данных прекрасно интегрируются в существующие информационные инфраструктуры. Их внедрение не требует каких-либо изменений в уже существующих сетях LAN и WAN, а лишь расширяет возможности существующих систем, избавляя их от задач, ориентированных на передачу больших объемов данных. Причем при интеграции и администрировании SAN очень важным является то, что ключевые элементы сети поддерживают горячую замену и установку, с возможностями динамического конфигурирования. Так что добавить тот или другой компонент или осуществить его замену администратор может, не выключая систему. И весь этот процесс интеграции может быть визуально отображен в графической системе управления SAN.

Рассмотрев вышеперечисленные преимущества, можно выделить ряд ключевых моментов, которые непосредственно влияют на одно из основных преимуществ Storage Area Network - общую стоимость владения (Total Cost Ownership).

Невероятные возможности масштабирования позволяют предприятию, которое использует SAN, вкладывать деньги в серверы и сторедж по мере необходимости. А также сохранить свои вложения в уже инсталлированную технику при смене технологических поколений. Каждый новый сервер будет иметь возможность высокоскоростного доступа к сторедж и каждый дополнительный гигабайт сторедж будет доступен всем серверам подсети по команде администратора.

Прекрасные возможности по построению отказоустойчивых систем могут приносить прямую коммерческую выгоду от минимизации простоев и спасать систему в случае возникновения стихийного бедствия или каких-нибудь других катаклизмов.

Управляемость компонентов и прозрачность системы предоставляют возможность осуществлять централизованное администрирование всех сторедж ресурсов, а это, в свою очередь, значительно уменьшает затраты на их поддержку, стоимость которой, как правило, составляет более 50% от стоимости оснащения.

Влияние SAN на прикладные задачи

Для того чтобы нашим читателям стало понятней, насколько практически полезны технологии, которые рассматриваются в этой статье, приведем несколько примеров прикладных задач, которые без использования сетей хранения данных решались бы неэффективно, требовали бы колоссальных финансовых вложений или же вообще не решались бы стандартными методами.

Резервирование и восстановление данных (Data Backup and Recovery)

Используя традиционный SCSI интерфейс, пользователь при построении систем резервирования и восстановления данных сталкивается с рядом сложных проблем, которые можно очень просто решить, используя технологии SAN и FC.

Таким образом, использование сетей хранения данных выводит решение задачи резервирования и восстановления на новый уровень и предоставляет возможность осуществлять бэкап в несколько раз быстрее, чем раньше, без загрузки локальной сети и серверов работой по резервированию данных.

Кластеризация серверов (Server Clustering)

Одной из типичных задач, для которых эффективно используется SAN, является кластеризация серверов. Поскольку один из ключевых моментов в организации высокоскоростных кластерных систем, которые работают с данными - это доступ к сторедж, то с появлением SAN построение многонодовых кластеров на аппаратном уровне решается простым добавлением сервера с подключением к SAN (это можно сделать, даже не выключая системы, поскольку свичи FC поддерживают hot-plug). При использовании параллельного SCSI интерфейса, возможности по подсоединению и масштабируемость которого значительно хуже, чем у FC, кластеры, ориентированные на обработку данных, было бы тяжело сделать с количеством нод больше двух. Коммутаторы параллельного SCSI - весьма сложные и дорогие устройства, а для FC это стандартный компонент. Для создания кластера, который не будет иметь ни единой точки отказов, достаточно интегрировать в систему зеркальную SAN (технология DUAL Path).

В рамках кластеризации одна из технологий RAIS (Redundant Array of Inexpensive Servers) кажется особенно привлекательной для построения мощных масштабируемых систем интернет-коммерции и других видов задач с повышенными требованиями к мощности. По словам Alistair A. Croll, сооснователя Networkshop Inc, использование RAIS оказывается достаточно эффективным:«Например, за $12000-15000 вы можете купить около шести недорогих одно-двухпроцессорных (Pentium III) Linux/Apache серверов. Мощность, масштабируемость и отказоустойчивость такой системы будет значительно выше, чем, например, у одного четырехпроцессорного сервера на базе процессоров Xeon, а стоимость одинаковая».

Одновременный доступ к видео и распределение данных (Concurrent video streaming, data sharing)

Вообразите себе задачу, когда вам нужно на нескольких (скажем, >5) станциях редактировать видео или просто работать над данными огромного объема. Передача файла размером 100GB по локальной сети займет у вас несколько минут, а общая работа над ним будет очень сложной задачей. При использовании SAN каждая рабочая станция и сервер сети получают доступ к файлу на скорости, эквивалентной локальному высокоскоростному диску. Если вам нужны еще одна станция/сервер для обработки данных, вы сможете ее прибавить к SAN, не выключая сети, простым подсоединением станции к SAN коммутатору и предоставлением ей прав доступа к сторедж. Если же вас перестанет удовлетворять быстродействие подсистемы данных, вы сможете просто прибавить еще один сторедж и с использованием технологии распределения данных (например, RAID 0) получить вдвое большее быстродействие.

Основные компоненты SAN

Среда

Для соединения компонентов в рамках стандарта Fibre Channel используют медные и оптические кабели. Оба типа кабелей могут использоваться одновременно при построении SAN. Конверсия интерфейсов осуществляется с помощью GBIC (Gigabit Interface Converter) и MIA (Media Interface Adapter). Оба типа кабеля сегодня обеспечивают одинаковую скорость передачи данных. Медный кабель используется для коротких расстояний (до 30 метров), оптический - как для коротких, так и для расстояний до 10 км и больше. Используют многомодовый и одномодовый оптические кабели. Многомодовый (Multimode) кабель используется для коротких расстояний (до 2 км). Внутренний диаметр оптоволокна мультимодового кабеля составляет 62,5 или 50 микрон. Для обеспечения скорости передачи 100 МБ/с (200 МБ/с в дуплексе) при использовании многомодового оптоволокна длина кабеля не должна превышать 200 метров. Одномодовый кабель используется для больших расстояний. Длина такого кабеля ограничена мощностью лазера, который используется в передатчике сигнала. Внутренний диаметр оптоволокна одномодового кабеля составляет 7 или 9 микрон, он обеспечивает прохождение одиночного луча.

Коннекторы, адаптеры

Для подсоединения медных кабелей используются коннекторы типа DB-9 или HSSD. HSSD считается более надежным, но DB-9 используется так же часто, потому что он более простой и дешевый. Стандартным (наиболее распространенным) коннектором для оптических кабелей является SC коннектор, он обеспечивает качественное, четкое соединение. Для обычного подключения используются многомодовые SC коннекторы, а для отдаленного - одномодовые. В многопортовых адаптерах используются микроконнекторы.

Наиболее распространены адаптеры для FC под шину PCI 64 bit. Также много FC адаптеров вырабатывается под шину S-BUS, для специализированного использования выпускаются адаптеры под MCA, EISA, GIO, HIO, PMC, Compact PCI. Самые популярные - однопортовые, встречаются двух- и четырехпортовые карточки. На PCI адаптерах, как правило, используют DB-9, HSSD, SC коннекторы. Также часто встречаются GBIC-based адаптеры, которые поставляются как с модулями GBIC, так и без них. Fibre Channel адаптеры отличаются классами, которые они поддерживают, и разнообразными особенностями. Для понимания отличий приведем сравнительную таблицу адаптеров производства фирмы QLogic.

Fibre Channel Host Bus Adapter Family Chart
SANblade 64 Bit FCAL Publ. Pvt Loop FL Port Class 3 F Port Class 2 Point to Point IP/ SCSI Full Duplex FC Tape PCI 1.0 Hot Plug Spec Solaris Dynamic Reconfig VIВ 2Gb
2100 Series 33 & 66MHz PCI X X X
2200 Series 33 & 66MHz PCI X X X X X X X X X
33MHz PCI X X X X X X X X X X
25 MHZ Sbus X X X X X X X X X X
2300 Series 66 MHZ PCI/ 133MHZ PCI-X X X X X X X X X X X X

Концентраторы

Fibre Channel HUBs (концентраторы) используются для подключения нод к FC кольцу (FC Loop) и имеют структуру, похожую на Token Ring концентраторы. Поскольку разрыв кольца может привести к прекращению функционирования сети, в современных FC концентраторах используются порты обхода кольца (PBC-port bypass circuit), которые разрешают автоматически открывать/закрывать кольцо (подключать/отключать системы, присоединенные к концентратору). Обычно FC HUBs поддерживают до 10 подключений и могут стекироваться до 127 портов на кольцо. Все устройства, подключенные к HUB, получают общую полосу пропускания, которую они могут разделять между собой.

Коммутаторы

Fibre Channel Switches (коммутаторы) имеют те же функции, что и привычные читателю LAN коммутаторы. Они обеспечивают полноскоростное неблокированное подключение между нодами. Любая нода, подключенная к FC коммутатору, получает полную (с возможностями масштабирования) полосу пропускания. При увеличении количества портов коммутированной сети ее пропускная способность увеличивается. Коммутаторы могут использоваться вместе с концентраторами (которые используют для участков, не требующих выделенной полосы пропуска для каждой ноды) для достижения оптимального соотношения цена/производительность. Благодаря каскадированию свичи потенциально могут использоваться для создания FC сетей с количеством адресов 2 24 (свыше 16 миллионов).

Мосты

FC Bridges (мосты или мультиплексоры) используются для подключения устройств с параллельным SCSI к сети на базе FC. Они обеспечивают трансляцию SCSI пакетов между Fibre Channel и Parallel SCSI устройствами, примерами которых могут служить Solid State Disk (SSD) или библиотеки на магнитных лентах. Следует заметить, что в последнее время практически все устройства, которые могут быть утилизированы в рамках SAN, производители начинают выпускать с вмонтированным FC интерфейсом для прямого их подключения к сетям хранения данных.

Серверы и Сторедж

Несмотря на то что серверы и сторедж - далеко не последние по важности компоненты SAN, мы на их описании останавливаться не будем, поскольку уверены, что с ними хорошо знакомы все наши читатели.

В конце хочется добавить, что эта статья - лишь первый шаг к сетям хранения данных. Для полного понимания темы читателю следует уделить немало внимания особенностям реализации компонент производителями SAN и программным средствам управления, поскольку без них Storage Area Network - это всего лишь набор элементов для коммутации сторедж-систем, которые не принесут вам полноты преимуществ от реализации сети хранения данных.

Заключение

Сегодня Storage Area Network является довольно новой технологией, которая в скором времени может стать массовой в кругу корпоративных заказчиков. В Европе и США предприятия, которые имеют достаточно большой парк инсталлированных сторедж-систем, уже начинают переходить на сети хранения данных для организации сторедж с наилучшим показателем общей стоимости владения.

По прогнозам аналитиков, в 2005 году значительное количество серверов среднего и верхнего уровня будут поставляться с предварительно установленным интерфейсом Fibre Channel (такую тенденцию можно заметить уже сегодня), и лишь для внутреннего подключения дисков в серверах будет использоваться параллельный SCSI интерфейс. Уже сегодня при построении сторедж-систем и приобретении серверов среднего и верхнего уровня следует обратить внимание на эту перспективную технологию, тем более, что уже сегодня она дает возможность реализовать ряд задач куда дешевле, чем с помощью специализированных решений. Кроме того, вкладывая в технологию SAN сегодня, вы не потеряете свои вложения завтра, поскольку особенности Fibre Channel создают прекрасные возможности для использования в будущем вложенных сегодня инвестиций.

P.S.

Предыдущая версия статьи была написана в июне 2000 года, но в связи с отсутствием массового интереса к технологии сетей хранения данных публикация была отложена на будущее. Это будущее настало сегодня, и я надеюсь, что данная статья побудит читателя осознать необходимость перехода на технологию сетей хранения данных, как передовую технологию построения сторедж-систем и организации доступа к данным.

В данной статье, мы рассмотрим, какие виды систем хранения данных (СХД) на сегодняшнее время существуют, так же рассмотрю одни из основных компонентов СХД – внешние интерфейсы подключения (протоколы взаимодействия) и накопители, на которых хранятся данные. Так же проведем их общее сравнение по предоставляемым возможностям. Для примеров мы буду ссылаться на линейку СХД, представляемую компанией DELL.

  • Примеры моделей DAS
  • Примеры моделей NAS
  • Примеры моделей SAN
  • Типы носителей информации и протокол взаимодействия с системами хранения данных Протокол Fibre Channel
  • Протокол iSCSI
  • Протокол SAS
  • Сравнение протоколов подключения систем хранения данных

Существующие типы систем хранения данных

В случае отдельного ПК под системой хранения данных можно понимать внутренний жесткий диск или систему дисков (RAID массив). Если же речь заходит о системах хранения данных разного уровня предприятий, то традиционно можно выделить три технологии организации хранения данных:

  • Direct Attached Storage (DAS);
  • Network Attach Storage (NAS);
  • Storage Area Network (SAN).

Устройства DAS (Direct Attached Storage) – решение, когда устройство для хранения данных подключено непосредственно к серверу, или к рабочей станции, как правило, через интерфейс по протоколу SAS.

Устройства NAS (Network Attached Storage) – отдельно стоящая интегрированная дисковая система, по-сути, NAS-cервер, со своей специализированной ОС и набором полезных функций быстрого запуска системы и обеспечения доступа к файлам. Система подключается к обычной компьютерной сети (ЛВС), и является быстрым решением проблемы нехватки свободного дискового пространства, доступного для пользователей данной сети.

Storage Area Network (SAN) –это специальная выделенная сеть, объединяющая устройства хранения данных с серверами приложений, обычно строится на основе протокола Fibre Channel или протокола iSCSI.

Теперь давайте более детально рассмотрим каждый из приведенных выше типов СХД, их положительные и отрицательные стороны.

Архитектура системы хранения DAS (Direct Attached Storage)

К основным преимуществам DAS систем можно отнести их низкую стоимость (в сравнении с другими решениями СХД), простоту развертывания и администрирования, а также высокую скорость обмена данными между системой хранения и сервером. Собственно, именно благодаря этому они завоевали большую популярность в сегменте малых офисов, хостинг-провайдеров и небольших корпоративных сетей. В то же время DAS-системы имеют и свои недостатки, к которым можно отнести неоптимальную утилизацию ресурсов, поскольку каждая DAS система требует подключения выделенного сервера и позволяет подключить максимум 2 сервера к дисковой полке в определенной конфигурации.

Рисунок 1: Архитектура Direct Attached Storage

  • Достаточно низкая стоимость. По сути эта СХД представляет собой дисковую корзину с жесткими дисками, вынесенную за пределы сервера.
  • Простота развертывания и администрирования.
  • Высокая скорость обмена между дисковым массивом и сервером.
  • Низкая надежность. При выходе из строя сервера, к которому подключено данное хранилище, данные перестают быть доступными.
  • Низкая степень консолидации ресурсов – вся ёмкость доступна одному или двум серверам, что снижает гибкость распределения данных между серверами. В результате необходимо закупать либо больше внутренних жестких дисков, либо ставить дополнительные дисковые полки для других серверных систем
  • Низкая утилизация ресурсов.

Примеры моделей DAS

Из интересных моделей устройств этого типа хотелось бы отметить модельный ряд DELL PowerVaultсерии MD. Начальные модели дисковых полок (JBOD) MD1000 и MD1120 позволяют создавать дисковые массивы c количеством диском до 144-х. Это достигается за счет модульности архитектуры, в массив можно подключить вплоть до 6 устройств, по три дисковых полки на каждый канал RAID-контроллера. Например, если использовать стойку из 6 DELL PowerVault MD1120, то реализуем массив с эффективным объемом данных 43,2 ТБ. Подобные дисковые полки подключаются одним или двумя кабелями SAS к внешним портам RAID-контроллеров, установленных в серверах Dell PowerEdge и управляются консолью управления самого сервера.

Если же есть потребность в создании архитектуры с высокой отказоустойчивостью, например, для создания отказоустойчивого кластера MS Exchange, SQL-сервера, то для этих целей подойдет модельDELL PowerVault MD3000. Это система уже имеет активную логику внутри дисковой полки и полностью избыточна за счет использования двух встроенных контроллеров RAID, работающих по схеме «актвиный-активный» и имеющих зеркалированную копию буферизованных в кэш-памяти данных.

Оба контроллера параллельно обрабатывают потоки чтения и записи данных, и в случае неисправности одного из них, второй «подхватывает» данные с соседнего контроллера. При этом подключение к низко уровнему SAS-контроллеру внутри 2-х серверов (кластеру) может производиться по нескольким интерфейсам (MPIO), что обеспечивает избыточность и балансировку нагрузки в средах Microsoft. Для наращивания дискового пространства к PowerVault MD3000 можно подключить 2-е дополнительные дисковые полки MD1000.

Архитектура системы хранения NAS (Network Attached Storage)

Технология NAS (сетевые подсистемы хранения данных, Network Attached Storage) развивается как альтернатива универсальным серверам, несущим множество функций (печати, приложений, факс сервер, электронная почта и т.п.). В отличие от них NAS-устройства исполняют только одну функцию — файловый сервер. И стараются сделать это как можно лучше, проще и быстрее.

NAS подключаются к ЛВС и осуществляют доступ к данным для неограниченного количества гетерогенных клиентов (клиентов с различными ОС) или других серверов. В настоящее время практически все NAS устройства ориентированы на использование в сетях Ethernet (Fast Ethernet, Gigabit Ethernet) на основе протоколов TCP/IP. Доступ к устройствам NAS производится с помощью специальных протоколов доступа к файлам. Наиболее распространенными протоколами файлового доступа являются протоколы CIFS, NFS и DAFS. Внутри подобных серверов стоят специализированные ОС, такие как MS Windows Storage Server.

Рисунок 2: Архитектура Network Attached Storage

  • Дешевизна и доступность его ресурсов не только для отдельных серверов, но и для любых компьютеров организации.
  • Простота коллективного использования ресурсов.
  • Простота развертывания и администрирования
  • Универсальность для клиентов (один сервер может обслуживать клиентов MS, Novell, Mac, Unix)
  • Доступ к информации через протоколы “сетевых файловых систем” зачастую медленнее, чем как к локальному диску.
  • Большинство недорогих NAS-серверов не позволяют обеспечить скоростной и гибкий метод доступа к данным на уровне блоков, присущих SAN системам, а не на уровне файлов.

Примеры моделей NAS

В настоящий момент классические NAS решения, такие как PowerVault NF100/500/600 . Это системы на базе массовых 1 и 2-х процессорных серверов Dell, оптимизированных для быстрого развертывания NAS-сервисов. Они позволяют создавать файловое хранилище вплоть до 10 ТБ (PowerVault NF600) используя SATA или SAS диски, и подключив данный сервер к ЛВС. Также имеются и более высокопроизводительные интегрированные решение, например PowerVault NX1950 , вмещающие в себя 15 дисков и расширяемые до 45 за счет подключения дополнительных дисковых полок MD1000.

Серьезным преимуществом NX1950 является возможность работать не только с файлами, но и с блоками данных на уровне протокола iSCSI. Также разновидность NX1950 может работать как «гейтвэй», позволяющий организовать файловый доступ к СХД на базе iSCSI (c блочным методом доступа), например MD3000i или к Dell EqualLogic PS5x00.

Архитектура системы хранения SAN (Storage Area Network)

Storage Area Network (SAN) — это специальная выделенная сеть, объединяющая устройства хранения данных с серверами приложений, обычно строится на основе протокола Fibre Channel, либо на набирающем обороты протоколу iSCSI. В отличие от NAS, SAN не имеет понятия о файлах: файловые операции выполняются на подключенных к SAN серверах. SAN оперирует блоками, как некий большой жесткий диск. Идеальный результат работы SAN — возможность доступа любого сервера под любой операционной системой к любой части дисковой емкости, находящейся в SAN. Оконечные элементы SAN — это серверы приложений и системы хранения данных (дисковые массивы, ленточные библиотеки и т. п.). А между ними, как и в обычной сети, находятся адаптеры, коммутаторы, мосты, концентраторы. ISCSI является более «дружелюбным» протоколом, поскольку он основан на использовании стандартной инфраструктуры Ethernet – сетевых карт, коммутаторов, кабелей. Более того, именно системы хранения данных на базе iSCSI являются наиболее популярными для виртуализированных серверов, в силу простоты настройки протокола.

Рисунок 3: Архитектура Storage Area Network

  • Высокая надёжность доступа к данным, находящимся на внешних системах хранения. Независимость топологии SAN от используемых СХД и серверов.
  • Централизованное хранение данных (надёжность, безопасность).
  • Удобное централизованное управление коммутацией и данными.
  • Перенос интенсивного трафика ввода-вывода в отдельную сеть, разгружая LAN.
  • Высокое быстродействие и низкая латентность.
  • Масштабируемость и гибкость логической структуры SAN
  • Возможность организации резервных, удаленных СХД и удаленной системы бэкапа и восстановления данных.
  • Возможность строить отказоустойчивые кластерные решения без дополнительных затрат на базе имеющейся SAN.
  • Более высокая стоимость
  • Сложность в настройке FC-систем
  • Необходимость сертификации специалистов по FC-сетям (iSCSI является более простым протоколом)
  • Более жесткие требования к совместимости и валидации компонентов.
  • Появление в силу дороговизны DAS-«островов» в сетях на базе FC-протокола, когда на предприятиях появляются одиночные серверы с внутренним дисковым пространством, NAS-серверы или DAS-системы в силу нехватки бюджета.

Примеры моделей SAN

В настоящий момент имеется достаточно большой выбор дисковых массивов для построения SAN, начиная от моделей для малых и средних предприятий, такие как серия DELL AX, которые позволяют создавать хранилища емкостью до 60 Тбайт, и заканчивая дисковыми массивами для больших корпораций DELL/EMC серии CX4, они позволяют создать хранилища емкостью до 950 Тб. Есть недорогое решение на основе iSCSI, это PowerVault MD3000i – решение позволяет подключать до 16-32 серверов, в одно устройство можно установить до 15 дисков, и расширить систему двумя полками MD1000, создав массив на 45Тб.

Отдельного упоминания заслуживает система Dell EqualLogic на базе протокола iSCSI. Она позиционируется как СХД масштаба предприятия и сравнима по цене с системами Dell | EMC CX4, с модульной архитектурой портов, поддерживающих как FC протокол, так и iSCSI протокол. Система EqualLogic является одноранговой, т.е каждая дисковая полка имеет активные контроллеры RAID. При подключении этих массивов в единую систему, производительность дискового пула плавно растет с ростом доступного объема хранения данных. Система позволяет создать массивы более 500TB, настраивается менее, чем за час, и не требует специализированных знаний администраторов.

Модель лицензирования также отличается от остальных и уже включает в первоначальную стоимость все возможные опции моментальных копий, репликацию и средства интеграции в различные ОС и приложения. Эта система считается одной из наиболее быстрых систем в тестах для MS Exchange (ESRP).

Типы носителей информации и протокол взаимодействия с СХД

Определившись с типом СХД, который Вам наиболее подходит для решения тех или иных задач, необходимо перейти к выбору протокола взаимодействия с СХД и выбору накопителей, которые будут использоваться в системе хранения.

В настоящий момент для хранения данных в дисковых массивах используются SATA и SAS диски. Какие диски выбрать в хранилище зависит от конкретных задач. Стоит отметить несколько фактов.

SATA II диски:

  • Доступны объемы одного диска до 1 ТБ
  • Скорость вращения 5400-7200 RPM
  • Скорость ввода/вывода до 2,4 Гбит/с
  • Время наработки на отказ примерно в два раза меньше чем у SAS дисков.
  • Менее надежные, чем SAS диски.
  • Дешевле примерно в 1,5 раза, чем SAS-диски.
  • Доступны объемы одного диска до 450 ГБ
  • Скорость вращения 7200 (NearLine), 10000 и 15000 RPM
  • Скорость ввода/вывода до 3,0 Гбит/с
  • Время наработки на отказ в два раза больше чем у SATA II дисков.
  • Более надежные диски.

Важно! В прошлом году начался промышленный выпуск SAS дисков с пониженной скоростью вращения – 7200 rpm (Near-line SAS Drive). Это позволило повысить объем хранимых данных на одном диске до 1 ТБ и снизить энергопторебление дисков со скоростным интерфейсом. При том, что стоимость таких дисков сравнима со стоимостью дисков SATA II, а надежность и скорость ввода/вывода осталась на уровне SAS дисков.

Таким образом, в настоящий момент стоит действительно серьезно задуматься над протоколами хранения данных, которые вы собираетесь использовать в рамках корпоративной СХД.

До недавнего времени основными протоколами взаимодействия с СХД являлись – FibreChannel и SCSI. Сейчас на смену SCSI, расширив его функционал, пришли протоколы iSCSI и SAS. Давайте ниже рассмотрим плюсы и минусы каждого из протоколов и соответствующих интерфейсов подключения к СХД.

Протокол Fibre Channel

На практике современный Fibre Channel (FC) имеет скорости 2 Гбит/Сек (Fibre Channel 2 Gb), 4 Гбит/Сек (Fibre Channel 4 Gb) full- duplex или 8 Гбит/Сек, то есть такая скорость обеспечивается одновременно в обе стороны. При таких скоростях расстояния подключения практически не ограничены – от стандартных 300 метров на самом «обычном» оборудовании до нескольких сотен или даже тысяч километров при использовании специализированного оборудования. Главный плюс протокола FC – возможность объединения многих устройств хранения и хостов (серверов) в единую сеть хранения данных (SAN). При этом не проблема распределенности устройств на больших расстояниях, возможность агрегирования каналов, возможность резервирования путей доступа, «горячего подключения» оборудования, большая помехозащищенность. Но с другой стороны мы имеем высокую стоимость, и высокую трудоемкость инсталляции и обслуживания дисковых массивов использующих FC.

Важно! Следует разделять два термина протокол Fibre Channel и оптоволоконный интерфейс Fiber Channel. Протокол Fibre Сhannel может работать на разных интерфейсах — и на оптоволоконном соединении с разной модуляцией, и на медных соединениях.

  • Гибкая масштабируемость СХД;
  • Позволяет создавать СХД на значительных расстояниях (но меньших, чем в случае iSCSI протокола; где, в теории, вся глобальная IP сеть может выступать носителем.
  • Большие возможности резервирования.
  • Высокая стоимость решения;
  • Еще более высокая стоимость при организации FC-сети на сотни или тысячи километров
  • Высокая трудоемкость при внедрении и обслуживании.

Важно! Помимо появления протокола FC8 Гб/c, ожидается появление протокола FCoE (Fibre Channel over Ethernet), который позволит использовать стандартные IP сети для организации обмена пакетами FC.

Протокол iSCSI

Протокол iSCSI (инкапсуляция SCSI пакетов в протокол IP) позволяет пользователям создать сети хранения данных на базе протокола IP с использованием Ethernet-инфраструктуры и портов RJ45. Таким образом, протокол iSCSI дает возможность обойти те ограничения, которыми характеризуются хранилища данных с непосредственным подключением, включая невозможность совместного использования ресурсов через серверы и невозможность расширения емкости без отключения приложений. Скорость передачи на данный момент ограничена 1 Гб/c (Gigabit Ethernet), но данная скорость является достаточной для большинства бизнес-приложений масштаба средних предприятий и это подтверждают многочисленные тесты. Интересно то, что важна не столько скорость передачи данных на одном канале, сколько алгоритмы работы RAID контроллеров и возможность агрегации массивов в единый пул, как в случае с DELL EqualLogic, когда используются по три 1Гб порта на каждом массиве, и идет балансировка нагрузки среди массивов одной группы.

Важно отметить, что сети SAN на базе протокола iSCSI обеспечивают те же преимущества, что и сети SAN с использованием протокола Fibre Channel, но при этом упрощаются процедуры развертывания и управления сетью, и значительно снижаются стоимостные затраты на данную СХД.

  • Высокая доступность;
  • Масштабируемость;
  • Простота администрирования, так как используется технология Ethernet;
  • Более низкая цена организации SAN на протоколе iSCSI, чем на FC.
  • Простота интеграции в среды виртуализации
  • Есть определенные ограничения по использованию СХД с протоколом iSCSI с некоторыми OLAP и OLTP приложениями, с системами Real Time и при работе с большим числом видеопотоков в HD формате
  • Высокоуровневые СХД на базе iSCSI, также как и CХД c FC-протоколом, требуют использования быстрых, дорогостоящих Ethernet-коммутаторов
  • Рекомендуется использование либо выделенных Ethernet коммутаторов, либо организация VLAN для разделения потоков данных. Дизайн сети является не менее важной частью проекта, чем при разработке FC-сетей.

Важно! В скором времени производители обещают выпустить в серийное производство SAN на базе протокола iSCSI с поддержкой скоростей передачи данных до 10 Гб/c. Также готовится финальная версия протокола DCE (Data Center Ethernet), массовое появление устройств, поддерживающих протокол DCE, ожидается к 2011 году.

C точки зрения используемых интерфейсов, протокол iSCSI задействует интерфейсы Ethernet 1Гбит/C, а ими могут быть как медные, так оптоволоконные интерфейсы при работе на больших расстояниях.

Протокол SAS

Протокол SAS и одноименный интерфейс разработаны для замены параллельного SCSI и позволяет достичь более высокой пропускной способности, чем SCSI. Хотя SAS использует последовательный интерфейс в отличие от параллельного интерфейса, используемого традиционным SCSI, для управления SAS-устройствами по-прежнему используются команды SCSI. SAS позволяет обеспечить физическое подключение между массивом данных и несколькими серверами на небольшие расстояния.

  • Приемлемая цена;
  • Легкость консолидации хранилищ – хотя СХД на базе SAS не может подключаться к такому количеству хостов (серверов), как SAN конфигурации которые используют протоколы FC или iSCSI, но при использовании протокола SAS не возникает трудностей с дополнительным оборудованием для организации общего хранилища для нескольких серверов.
  • Протокол SAS позволяет обеспечить большую пропускную способность с помощью 4 канальных соединений внутри одного интерфейса. Каждый канал обеспечивает 3 Гб/c , что позволяет достичь скорости передачи данных 12 Гб/с (в настоящий момент это наивысшая скорость передачи данных для СХД).
  • Ограниченность досягаемости – длинна кабеля не может превышать 8 метров. Тем самым хранилища с подключением по протоколу SAS, будут оптимальны только тогда когда серверы и массивы будут расположены в одной стойке или в одной серверной;
  • Количество подключаемых хостов (серверов) как правило, ограничено несколькими узлами.

Важно! В 2009 году ожидается появление технологии SAS со скоростью передачи данных по одному каналу – 6 Гбит/c, что позволит значительно увеличить привлекательность использования данного протокола.

Сравнение протоколов подключения СХД

Ниже приведена сводная таблица сравнения возможностей различных протоколов взаимодействия с СХД.

Параметр

Протоколы подключения СХД
Архитектура SCSI команды инкапсулируются в IP пакет и передаются через Ethernet, последовательная передача Последовательная передача SCSI команд Коммутируемая
Растояние между дисковым массивом и узлом (сервер или свитч) Ограничено лишь расстоянием IP cетей. Не более 8 метров между устройствами. 50.000 метров без использования специализрованных рипитеров
Масштабируемость Миллионы устройств – при работе по протоколу IPv6. 32 устройства 256 устройств
16 миллионов устройств, если использовать FC-SW (fabric switches) архитектура
Производительность 1 Гб/с (планируется развитие до 10 Гб/с) 3 Гб/с при использовании 4х портов, до 12 Гб/с (в 2009 году до 6 Гб/с по одному порту) До 8 Гб/с
Уровень вложений (затрат на внедрение) Незначительный – используется Ethernet Средний Значительный

Таким образом, представленные решения на первый взгляд достаточно четко разделяются по соответствию требованиям заказчиков. Однако на практике все не так однозначно, включаются дополнительные факторы в виде ограничений по бюджетам, динамики развития организации (и динамики увеличения объема хранимой информации), отраслевая специфика и т.д.

Зависимость бизнес-процессов предприятия от ИТ-сферы постоянно растет. На сегодня вопросу непрерывности работы ИТ-сервисов уделяют внимание не только крупные компании, но и представители среднего, а зачастую и малого бизнеса.

Одним из центральных элементов обеспечения отказоустойчивости является система хранения данных (СХД) - устройство на котором централизовано храниться вся информация. СХД характеризуется высокой масштабируемостью, отказоустойчивостью, возможностью выполнять все сервисные операции без остановки работы устройства (в том числе замену компонентов). Но стоимость даже базовой модели измеряется в десятках тысяч долларов. Например, Fujitsu ETERNUS DX100 с 12-ю дисками Nearline SAS 1Tb SFF (RAID10 6TB) стоит порядка 21 000 USD , что для небольшой компании очень дорого.

В нашей статье мы предлагаем рассмотреть варианты организации бюджетного хранилища , которое не проигрывает по производительности и надежности классическим системам. Для его реализации предлагаем использовать CEPH .

Что такое CEPH и как он работает?

CEPH – хранилище на базе свободного ПО, представляет из себя объединение дисковых пространств нескольких серверов (количество серверов на практике измеряется десятками и сотнями). CEPH позволяет создать легкомасштабируемое хранилище с высокой производительностью и избыточностью ресурсов. CEPH может использоваться как в качестве объектного хранилища (служить для хранения файлов) так и в качестве блочного устройства (отдача виртуальных жестких дисков).

Отказоустойчивость хранилища обеспечивается репликацией каждого блока данных на несколько серверов. Количество одновременно хранимых копий каждого блока называется фактором репликации, по умолчанию его значение равно 2. Схема работы хранилища показана на рисунке 1, как видим информация разбивается на блоки, каждый из которых распределяется по двум разным нодам.

Рисунок 1 - Распределение блоков данных


Если на серверах не используются отказоустойчивые дисковые массивы, для надежного хранения данных рекомендуется использовать более высокое значение фактора репликации. В случае выхода из строя одного из серверов CEPH фиксирует недоступность блоков данных (рисунок 2), которые на нем размещены, ожидает определенное время (параметр настраивается, по умолчанию 300 сек.), после чего начинает воссоздание недостающих блоков информации в другом месте (рисунок 3).

Рисунок 2 - Выход из строя одной ноды


Рисунок 3 - Восстановление избыточности


Аналогично, в случае добавления в кластер нового сервера происходит ребаллансировка хранилища с целью равномерного заполнения дисков на всех нодах. Механизм который контролирует процессы распределения блоков информации в кластере CEPH называется CRUSH.

Для получения высокой производительности дискового пространства в кластерах CEPH рекомендуется использовать функционал cache tiering (многоуровневое кэширование). Смысл его заключается в том, чтобы создать отдельный высокопроизводительный пул и использовать его для кэширования, основная же информация будет размещена на более дешевых дисках (рисунок 4).

Рисунок 4 - Логическое представление дисковых пулов


Многоуровневое кэширование будет работать следующим образом: запросы клиентов на запись будут записываться в самый быстрый пул, после чего перемещаться на уровень хранения. Аналогично по запросам на чтение – информация при обращении будет подниматься на уровень кэширования и обрабатываться. Данные продолжают оставаться на уровне кэша пока не становятся неактивными или пока не теряют актуальность (рисунок 5). Стоит отметить, что кэширование можно настроить только на чтение, в этом случае запросы на запись будут заноситься прямо в пул хранения.

Рисунок 5 - Принцип работы кэш-тирринг


Рассмотрим реальные сценарии использования CEPH в организации для создания хранилища данных. В качестве потенциального клиента рассматриваются организации малого и среднего бизнеса, где будет наиболее востребована эта технология. Мы рассчитали 3 сценария использования описанного решения:

  1. Производственное или торговое предприятие с требованием к доступности внутренней ERP системы и файлового хранилища 99,98% в год, 24/7.
  2. Организация, которой для ее бизнес-задач требуется развернуть локальное частное облако.
  3. Очень бюджетное решение для организации отказоустойчивого блочного хранилища данных, полностью независимое от аппаратного обеспечения с доступностью 99,98% в год и недорогим масштабированием.

Сценарий использования 1. Хранилище данных на базе CEPH

Рассмотрим реальный пример применения CEPH в организации. Например, нам требуется отказоустойчивое производительное хранилище объемом 6 Тб, но затраты даже на базовую модель СХД с дисками составляют порядка $21 000 .

Собираем хранилище на базе CEPH. В качестве серверов предлагаем использовать решение Supermicro Twin (Рисунок 6). Продукт представляет собой 4 серверные платформы в едином корпусе высотой 2 юнита, все основные узлы устройства дублируются, что обеспечивает его непрерывное функционирование. Для реализации нашей задачи будет достаточно использовать 3 ноды, 4-я будет в запасе на будущее.




Рисунок 6 - Supermicro Twin


Комплектуем каждую из нод следующим образом: 32 Гб ОЗУ, 4-х ядерный процессор 2,5 Ггц, 4 SATA диска по 2 Тб для пула хранения объединяем в 2 массива RAID1, 2 SSD диска для пула кэширования также объединяем в RAID1 . Стоимость всего проекта указана в таблице 1.

Таблица 1. Комплектующие для хранилища на базе CEPH

Комплектующие Цена, USD Кол-во Стоимость, USD
4 999,28 1 4 999,28
139,28 6 835,68
Процессор Ivy Bridge-EP 4-Core 2.5GHz (LGA2011, 10MB, 80W, 22nm) Tray 366,00 3 1 098,00
416,00 12 4 992,00
641,00 6 3 846,00
ИТОГО 15 770,96

Вывод: В результате построения хранилища получим дисковый массив 6Tb c затратами порядка $16 000 , что на 25% меньше чем закупка минимальной СХД, при этом на текущих мощностях можно запустить виртуальные машины, работающие с хранилищем, тем самым сэкономить на покупке дополнительных серверов. По сути – это законченное решение.

Серверы, из которых строится хранилище, можно использовать не только как вместилище жестких дисков, но в качестве носителей виртуальных машин или серверов приложений.

Сценарий использования 2. Построение частного облака

Задача состоит в том, чтобы развернуть инфраструктуру для построения частного облака с минимальными затратами.

Построение даже небольшого облака состоящего из например из 3-х носителей примерно в $36 000 : $21 000 – стоимость СХД + $5000 за каждый сервер с 50% наполнением.

Использование CEPH в качестве хранилища позволяет совместить вычислительные и дисковые ресурсы на одном оборудовании. То есть не нужно закупать отдельно СХД - для размещения виртуальных машин будут использоваться диски установленные непосредственно в серверы.

Краткая справка:
Классическая облачная структура представляет из себя кластер виртуальных машин, функционирование которых обеспечивают 2 основных аппаратных компонента:

  1. Вычислительная часть (compute) - серверы, заполненные оперативной памятью и процессорами, ресурсы которых используются виртуальными машинами для вычислений
  2. Система хранения данных (storage) – устройство наполненное жесткими дисками, на котором хранятся все данные.

В качестве оборудования берем те же серверы Supermicro, но ставим более мощные процессоры – 8-ми ядерные с частотой 2,6 GHz, а также 96 Гб ОЗУ в каждую ноду , так как система будет использоваться не только для хранения информации, но и для работы виртуальных машин. Набор дисков берем аналогичный первому сценарию.

Таблица 2. Комплектующие для частного облака на базе CEPH

Комплектующие Цена, USD Кол-во Стоимость, USD
Supermicro Twin 2027PR-HTR: 4 hot-pluggable systems (nodes) in a 2U form factor. Dual socket R (LGA 2011), Up to 512GB ECC RDIMM, Integrated IPMI 2.0 with KVM and Dedicated LAN. 6x 2.5" Hot-swap SATA HDD Bays. 2000W Redundant Power Supplies 4 999,28 1 4 999,28
Модуль памяти Samsung DDR3 16GB Registered ECC 1866Mhz 1.5V, Dual rank 139,28 18 2 507,04
Процессор Intel Xeon E5-2650V2 Ivy Bridge-EP 8-Core 2.6GHz (LGA2011, 20MB, 95W, 32nm) Tray 1 416,18 3 4 248,54
Жесткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6Gb/s 7200rpm 128Mb 512E 416 12 4 992,00
Твердотельный накопитель SSD 2.5"" 400GB DC S3710 Series. 641 6 3 846,00
ИТОГО 20 592,86

Собранное облако будет иметь следующие ресурсы с учетом сохранения стабильности при выходе из строя 1-й ноды:

Собранный кластер сможет поддерживать порядка 10 средних виртуальных машин с характеристиками: 12 ГБ ОЗУ / 4 процессорных ядра / 400 ГБ дискового пространства.

Также стоит учесть что все 3 сервера заполнены только на 50% и при необходимости их можно доукомплектовать, тем самым увеличив пул ресурсов для облака в 2 раза.

Вывод: Как видим, мы получили как полноценный отказоустойчивый кластер виртуальных машин, так и избыточное хранилище данных - выход из строя любого из серверов не критичен – система продолжит функционирование без остановки, при этом стоимость решения примерно в 1,5 раза ниже , чем купить СХД и отдельные сервера.

Сценарий использования 3. Построение сверхдешевого хранилища данных

Если бюджет совсем ограничен и нет денег на закупку оборудования описанного выше, можно закупить серверы бывшие в употреблении, но на дисках экономить не стоит – их настоятельно рекомендуется купить новые.

Предлагаем рассмотреть следующую структуру: закупается 4 серверные ноды, в каждый сервер ставиться по 1 SSD-диску для кэширования и по 3 SATA диска . Серверы Supermicro с 48 ГБ ОЗУ и процессорами линейки 5600 можно сейчас купить примерно за $800 .

Диски не будут собираться в отказоустойчивые массивы на каждом сервере, а будут представлены как отдельное устройство. В связи с этим для повышения надежности хранилища будем использовать фактор репликации 3. То есть у каждого блока будет 3 копии. При такой архитектуре зеркалирования дисков SSD кеша не требуется, так как происходит автоматическое дублирование информации на другие ноды.

Таблица 3. Комплектующие для стореджа

Вывод: В случае необходимости в данном решении можно использовать диски большего объема, либо заменить их на SAS, если нужно получить максимальную производительность для работы СУБД. В данном примере в результате получим хранилище объемом 8 ТБ с очень низкой стоимостью и очень высокой отказоустойчивостью. Цена одного терабайта получилась в 3,8 раза дешевле , чем при использовании промышленной СХД за $21000.

Итоговая таблица, выводы

Конфигурация СХД Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10) СХД Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10) + Supermicro Twin Наш сценарий 1: хранилище на базе CEPH Наш сценарий 2: построение частного облака Нашсценарий 3: построение сверхдешевого хранилища
Полезный обьем, ГБ 6 000 6 000 6 000 6000 8 000
Цена, USD 21000 36000 15 770 20 592 7 324
Стоимость 1 ГБ, USD 3,5 6 2,63 3,43 0,92
Количество IOPs* (чтение 70%/запись 30%, Размер блока 4К) 760 760 700 700 675
Назначение Хранилище Хранилище + Вычисление Хранилище + Вычисление Хранилище + Вычисление Хранилище + Вычисление

*Расчет количества IOPs выполнен для созданных массивов из дисков NL SAS на СХД и дисков SATA на сторедже CEPH, кэширование отключалось для чистоты полученных значений. При использовании кэширования показатели IOPs будут значительно выше до момента заполнения кэша.

В итоге можно сказать, что на основе кластера CEPH можно строить надежные и дешевые хранилища данных. Как показали расчеты, использовать ноды кластера только для хранения не очень эффективно – решение выходит дешевле чем закупить СХД, но не на много – в нашем примере стоимость хранилища на CEPH была примерно на 25% меньше чем Fujitsu DX100. По-настоящему экономия ощущается в результате совмещения вычислительной части и хранилища на одном оборудовании - в таком случае стоимость решения будет в 1,8 раз меньше, чем при построении классической структуры с применением выделенного хранилища и отдельных хост-машин.

Компания EFSOL реализует данное решение по индивидуальным требованиям. Мы можем использовать имеющееся у вас оборудование, что ещё более снизит капитальные затраты на внедрение системы. Свяжитесь с нами и мы проведем обследование вашего оборудования на предмет его использования при создании СХД.

В простейшем случае SAN состоит из СХД , коммутаторов и серверов, объединённых оптическими каналами связи. Помимо непосредственно дисковых СХД в SAN можно подключить дисковые библиотеки, ленточные библиотеки (стримеры), устройства для хранения данных на оптических дисках (CD/DVD и прочие) и др.

Пример высоконадёжной инфраструктуры, в которой серверы включены одновременно в локальную сеть (слева) и в сеть хранения данных (справа). Такая схема обеспечивает доступ к данным, находящимся на СХД, при выходе из строя любого процессорного модуля, коммутатора или пути доступа.

Использование SAN позволяет обеспечить:

  • централизованное управление ресурсами серверов и систем хранения данных ;
  • подключение новых дисковых массивов и серверов без остановки работы всей системы хранения;
  • использование ранее приобретенного оборудования совместно с новыми устройствами хранения данных;
  • оперативный и надежный доступ к накопителям данных, находящимся на большом расстоянии от серверов, *без значительных потерь производительности;
  • ускорение процесса резервного копирования и восстановления данных - BURA .

История

Развитие сетевых технологий привело к появлению двух сетевых решений для СХД – сетей хранения Storage Area Network (SAN) для обмена данными на уровне блоков, поддерживаемых клиентскими файловыми системами, и серверов для хранения данных на файловом уровне Network Attached Storage (NAS). Чтобы отличать традиционные СХД от сетевых был предложен еще один ретроним – Direct Attached Storage (DAS).

Появлявшиеся на рынке последовательно DAS, SAN и NAS отражают эволюционирующие цепочки связей между приложениями, использующими данные, и байтами на носителе, содержащим эти данные. Когда-то сами программы-приложения читали и писали блоки, затем появились драйверы как часть операционной системы. В современных DAS, SAN и NAS цепочка состоит из трех звеньев: первое звено – создание RAID-массивов, второе – обработка метаданных, позволяющих интерпретировать двоичные данные в виде файлов и записей, и третье – сервисы по предоставлению данных приложению. Они различаются по тому, где и как реализованы эти звенья. В случае с DAS СХД является «голой», она только лишь предоставляет возможность хранения и доступа к данным, а все остальное делается на стороне сервера, начиная с интерфейсов и драйвера. С появлением SAN обеспечение RAID переносится на сторону СХД, все остальное остается так же, как в случае с DAS. А NAS отличается тем, что в СХД переносятся к тому же и метаданные для обеспечения файлового доступа, здесь клиенту остается только лишь поддерживать сервисы данных.

Появление SAN стало возможным после того, как в 1988 году был разработан протокол Fibre Channel (FC) и в 1994 утвержден ANSI как стандарт. Термин Storage Area Network датируется 1999 годом. Со временем FC уступил место Ethernet, и получили распространение сети IP-SAN с подключением по iSCSI.

Идея сетевого сервера хранения NAS принадлежит Брайану Рэнделлу из Университета Ньюкэстла и реализована в машинах на UNIX-сервере в 1983 году. Эта идея оказалась настолько удачной, что была подхвачена множеством компаний, в том числе Novell, IBM , и Sun, но в конечном итоге сменили лидеров NetApp и EMC.

В 1995 Гарт Гибсон развил принципы NAS и создал объектные СХД (Object Storage, OBS). Он начал с того, что разделил все дисковые операции на две группы, в одну вошли выполняемые более часто, такие как чтение и запись, в другую более редкие, такие как операции с именами. Затем он предложил в дополнение к блокам и файлам еще один контейнер, он назвал его объектом.

OBS отличается новым типом интерфейса, его называют объектным. Клиентские сервисы данных взаимодействуют с метаданными по объектному API (Object API). В OBS хранятся не только данные, но еще и поддерживается RAID, хранятся метаданные, относящиеся к объектам и поддерживается объектный интерфейс. DAS, и SAN, и NAS, и OBS сосуществуют во времени, но каждый из типов доступа в большей мере соответствует определенному типу данных и приложений.

Архитектура SAN

Топология сети

SAN является высокоскоростной сетью передачи данных, предназначенной для подключения серверов к устройствам хранения данных. Разнообразные топологии SAN (точка-точка, петля с арбитражной логикой (Arbitrated Loop) и коммутация) замещают традиционные шинные соединения «сервер - устройства хранения» и предоставляют по сравнению с ними большую гибкость, производительность и надежность. В основе концепции SAN лежит возможность соединения любого из серверов с любым устройством хранения данных, работающим по протоколу Fibre Channel . Принцип взаимодействия узлов в SAN c топологиями точка-точка или коммутацией показан на рисунках. В SAN с топологией Arbitrated Loop передача данных осуществляется последовательно от узла к узлу. Для того, чтобы начать передачу данных передающее устройство инициализирует арбитраж за право использования среды передачи данных (отсюда и название топологии – Arbitrated Loop).

Транспортную основу SAN составляет протокол Fibre Channel, использующий как медные, так и волоконно-оптические соединения устройств.

Компоненты SAN

Компоненты SAN подразделяются на следующие:

  • Ресурсы хранения данных;
  • Устройства, реализующие инфраструктуру SAN;

Host Bus Adaptors

Ресурсы хранения данных

К ресурсам хранения данных относятся дисковые массивы , ленточные накопители и библиотеки с интерфейсом Fibre Channel . Многие свои возможности ресурсы хранения реализуют только будучи включенными в SAN. Так дисковые массивы высшего класса могут осуществлять репликацию данных между масcивами по сетям Fibre Channel, а ленточные библиотеки могут реализовывать перенос данных на ленту прямо с дисковых массивов с интерфейсом Fibre Channel, минуя сеть и серверы (Serverless backup). Наибольшую популярность на рынке приобрели дисковые массивы компаний EMC , Hitachi , IBM , Compaq (семейство Storage Works , доставшееся Compaq от Digital), а из производителей ленточных библиотек следует упомянуть StorageTek , Quantum/ATL , IBM .

Устройства, реализующие инфраструктуру SAN

Устройствами, реализующими инфраструктуру SAN, являются коммутаторы Fibre Channel (Fibre Channel switches , FC switches),концентраторы (Fibre Channel Hub) и маршрутизаторы (Fibre Channel-SCSI routers).Концентраторы используются для объединения устройств, работающих в режиме Fibre Channel Arbitrated Loop (FC_AL). Применение концентраторов позволяет подключать и отключать устройства в петле без остановки системы, поскольку концентратор автоматически замыкает петлю в случае отключения устройства и автоматически размыкает петлю, если к нему было подключено новое устройство. Каждое изменение петли сопровождается сложным процессом её инициализации . Процесс инициализации многоступенчатый, и до его окончания обмен данными в петле невозможен.

Все современные SAN построены на коммутаторах, позволяющих реализовать полноценное сетевое соединение. Коммутаторы могут не только соединять устройства Fibre Channel , но и разграничивать доступ между устройствами, для чего на коммутаторах создаются так называемые зоны. Устройства, помещенные в разные зоны, не могут обмениваться информацией друг с другом. Количество портов в SAN можно увеличивать, соединяя коммутаторы друг с другом. Группа связанных коммутаторов носит название Fibre Channel Fabric или просто Fabric. Связи между коммутаторами называют Interswitch Links или сокращенно ISL.

Программное обеспечение

Программное обеспечение позволяет реализовать резервирование путей доступа серверов к дисковым массивам и динамическое распределение нагрузки между путями. Для большинства дисковых массивов существует простой способ определить, что порты, доступные через разные контроллеры , относятся к одному диску. Специализированное программное обеспечение поддерживает таблицу путей доступа к устройствам и обеспечивает отключение путей в случае аварии, динамическое подключение новых путей и распределение нагрузки между ними. Как правило, изготовители дисковых массивов предлагают специализированное программное обеспечение такого типа для своих массивов. Компания VERITAS Software производит программное обеспечение VERITAS Volume Manager , предназначенное для организации логических дисковых томов из физических дисков и обеспечивающее резервирование путей доступа к дискам, а также распределение нагрузки между ними для большинства известных дисковых массивов.

Используемые протоколы

В сетях хранения данных используются низкоуровневые протоколы:

  • Fibre Channel Protocol (FCP), транспорт SCSI через Fibre Channel. Наиболее часто используемый на данный момент протокол . Существует в вариантах 1 Gbit/s, 2 Gbit/s, 4 Gbit/s, 8 Gbit/s и 10 Gbit/s.
  • iSCSI , транспорт SCSI через TCP/IP .
  • FCoE , транспортировка FCP/SCSI поверх "чистого" Ethernet.
  • FCIP и iFCP , инкапсуляция и передача FCP/SCSI в пакетах IP.
  • HyperSCSI , транспорт SCSI через Ethernet .
  • FICON транспорт через Fibre Channel (используется только мейнфреймами).
  • ATA over Ethernet , транспорт ATA через Ethernet.
  • SCSI и/или TCP/IP транспорт через InfiniBand (IB).

Преимущества

  • Высокая надёжность доступа к данным, находящимся на внешних системах хранения. Независимость топологии SAN от используемых СХД и серверов.
  • Централизованное хранение данных (надёжность, безопасность).
  • Удобное централизованное управление коммутацией и данными.
  • Перенос интенсивного трафика ввода-вывода в отдельную сеть – разгрузка LAN.
  • Высокое быстродействие и низкая латентность.
  • Масштабируемость и гибкость логической структуры SAN
  • Географические размеры SAN, в отличие от классических DAS, практически не ограничены.
  • Возможность оперативно распределять ресурсы между серверами.
  • Возможность строить отказоустойчивые кластерные решения без дополнительных затрат на базе имеющейся SAN.
  • Простая схема резервного копирования – все данные находятся в одном месте.
  • Наличие дополнительных возможностей и сервисов (снапшоты, удаленная репликация).
  • Высокая степень безопасности SAN.

Совместное использование систем хранения как правило упрощает администрирование и добавляет изрядную гибкость, поскольку кабели и дисковые массивы не нужно физически транспортировать и перекоммутировать от одного сервера к другому.

Другим приемуществом является возможность загружать сервера прямо из сети хранения. При такой конфигурации можно быстро и легко заменить сбойный