Отказоустойчивость аппаратных и программных RAID-массивов
<p>Современные бизнес-процессы фактически целиком опираются на информационные технологии, и в последние несколько лет тенденция к лавинообразному увеличению объемов накопленной и обрабатываемой информации сохраняется. Взрывной рост количества электронных данных обусловил специфические требования к вычислительно-информационным системам: на первое место ставятся их надежность и отказоустойчивость. Требования к непрерывности бизнеса являются на сегодняшний день наиболее приоритетными, а время простоя – основной характеристикой аппаратных комплексов и услуг ЦОД. Незапланированный отказ в обслуживании является причиной серьезных финансовых потерь, утраты доверия клиентов и партнеров и последующего снижения основных показателей деятельности компании в целом. Расчет объемов потерь от временной остановки BC или потери данных является одной из востребованных задач для современных аналитиков.</p>
<p>Зачастую, при формировании требований к информационным комплексам основной акцент ставится на вычислительные мощности, при этом на второй план уходят требования к надежности и отказоустойчивости ядра консолидированной инфраструктуры – сетям и СХД.</p>
<p>Отказ системы хранения является, по сути, отказом одного или нескольких узлов собственно дискового массива или инфраструктуры: дисков, источников питания, подсистемы охлаждения, контроллеров дискового массива, сетевой инфраструктуры. Технология обеспечения отказоустойчивости охватывает не только аппаратные компоненты, но и логику организации дискового массива, а также правильность работы с кэшем при синхронизации данных между несколькими контроллерами (когерентность). Некорректная работа с кэшем может спровоцировать потерю целостности данных в системе хранения и последующую невозможность использования системы.</p>
<p> </p>
<p><b>Общие подходы обеспечения отказоустойчивости</b></p>
<p>Современная отказоустойчивая СХД подразумевает обязательное дублирование всех компонентов и отсутствие единой точки отказа (SPOF, Single point of failure). В дисковых массивах различной ценовой категории компромисс «цена/надежность» достигается различными методами. Разделяя дисковые массивы на три группы – Entry-level, Mid-range и Hi-end, рассмотрим архитектуру организации отказоустойчивости в каждой группе отдельно. Решения класса hi-end, как правило, обладают монолитной архитектурой (например, Hitachi USP), в то время как системы mid-range обычно реализуются модульной (например, EMC Сlariion и NetApp). Массивы Entry-level, как правило, являются наименее защищенными с точки зрения отказов, поскольку минимизация стоимости в этих решениях имеет высший приоритет.</p>
<p>Для high-end-массивов практически нет узлов с единой точкой отказа – в отличие от mid-range, где узкими местами традиционно считают контроллер, шину между контроллерами (с протоколами FC, Infiniband, PCI-E, Ethernet), ограниченное число петель FC-AL к дискам и расположение дисков RAID-группы «вдоль» одной петли (в high-end-массивах RAID-группы располагаются «поперек» петель FC-AL). Например, во многих high-end-массивах Hitachi RAID-группа состоит из четырех или восьми дисков, и каждый из них подключается к двум различным петлям от двух различных контроллеров. Такая конфигурация позволяет выполнять операции записи-чтения со всех дисков RAID-группы параллельно.</p>
<p>Не стоит забывать и о том, что для high-end-массивов типичной является архитектура cache-centric, при которой к общей кэш-памяти имеют доступ все контроллеры массива. Напротив, для массивов класса mid-range кэш-память фиксирована и привязана к своему контроллеру. В итоге стоит отметить не только наличие проблемных мест, но и потерю производительности, в том числе и при масштабируемости: необходимость проведения дополнительных операций с кэш-памятью вкупе с определенными сложностями при расширении массива накладывают массу ограничений, от которых свободны решения hi-end.</p>
<p>К сожалению, преимущества hi-end разбиваются об их стоимость: решения такого класса большинству средних (и тем более малых) компаний не по карману, а требования к надежности в секторе SMB не столь высоки, поэтому характеристик массивов mid-range обычно достаточно для поддержки всех информационных систем предприятия. Проектируя инфраструктуру, тем не менее необходимо выполнять тщательный анализ возможных рисков и размеров потерь.</p>
<p>Важно помнить, что сам дисковый массив является SPOF. Технология защиты данных от потери при выходе из строя одного или нескольких дисков в массиве выбирается на основании требований к надежности хранения данных и производительности операций ввода-вывода, а также бюджета. Например, RAID-массив уровня 1 («зеркало») обеспечивает очень высокий уровень надежности хранения данных, но стоимость такого решения зачастую неоправданно высока. Длительное время считалось, что наиболее экономически выгодным, производительным и достаточно надежным является массив RAID5, допускающий выход из строя одного (любого) диска. В настоящее время есть реализации массива уровня RAID6, не проигрывающего по производительности, но сохраняющего работоспособность при выходе из строя двух любых дисков.</p>
<p>Кроме этого, дополнительное повышение надежности может быть достигнуто за счет применения технологии hot-spare (дополнительных дисков, которые автоматически подключаются к массиву при выходе из строя «основных» дисков), использования защиты кэш-памяти, обслуживающей операции записи (в том числе зеркалирование и поддержка батареями или сохранение ее содержимого на диски в случае отключения внешнего питания).</p>
<p> </p>
<p><b>Программные RAID-массивы</b></p>
<p>За последние несколько лет реализация RAID-массивов с применением программного обеспечения на стандартных серверных комплектующих (в отличие от аппаратных RAID-контроллеров) приобрела новую силу, и сейчас программные RAID-массивы рассматриваются наряду с аппаратными не только в классе entry-level, но и mid-range.</p>
<p>Ранее считалось, что с использованием программных RAID-массивов (обычно встроенных в стандартную операционную систему или свободно распространяемых) можно построить бюджетную СХД без претензий на уровень предприятия. Сейчас объем решений для построения систем хранения данных для рынка средних компаний существенно вырос, да и крупнейшие вендоры включили в свои линейки подобные продукты.</p>
<p>Тем не менее большинство отказоустойчивых систем на программном RAID реализованы посредством репликации. Репликация же требует наличия двойного набора дисков (то есть существенного увеличения стоимости системы хранения), а также может значительно сказаться на производительности, если дублирующая СХД обладает более низкой скоростью обмена данными (а это типовая ситуация, поскольку репликация чаще всего осуществляется с применением транспорта Gigabit Ethernet, не позволяющим обеспечить достаточную скорость). Эта проблема характерна для продуктов класса программных RAID-массивов: такие решения, как Open-E, StarWind, openfiler, freeNAS и другие, не позволяют реализовать полноценную отказоустойчивую архитектуру и не могут служить «дешевой альтернативой» аппаратным решениям.</p>
<p>Но выбор СХД не сводится к двум случаям («надежно, но дорого» или «дешево, но ненадежно»). Как и везде, существует промежуточный вариант. Например, довольно привлекательно выглядит применение решения RAIDIX компании AVRORAID. В нем реализованы два механизма отказоустойчивости. Синхронизация кэш-буфера между двумя узлами, работающими по принципу кластера Active-Passive с единым набором дисков. Синхронизация выполняется посредством транспорта FibreChannel с низкой латентностью. Вторым механизмом отказоустойчивости в этом решении является удаленная репликация на случай катастроф. Результатом является полноценное отказоустойчивое решение на программном RAID-массиве без дополнительных затрат на второй дисковый массив и потерь производительности на обеспечение синхронизации кэша.</p>
<p> При этом достигается высокая производительность системы хранения данных за счет использования параллельных вычислений и уникальных математических алгоритмов собственной разработки для массива уровня RAID6 и RAID10, а ПО не требует специализированного оборудования и работает на стандартной серверной платформе x86. Благодаря этому снижены требования к обслуживающему персоналу, а эксплуатация и обслуживание системы могут проводиться специалистами, имеющими средний опыт работы с серверным оборудованием. Добавим: решение характеризуется невысокой стоимостью как на этапе приобретения, так и в процессе внедрения и эксплуатации. Также уникальной особенностью решения является то, что оно полностью российское, что добавляет преимуществ в части его внедрения и поддержки.</p>
<p>Несмотря на то что RAIDIX функционирует на большом количестве стандартных платформ, существуют решения, оптимально подходящие для обеспечения высокой степени отказоустойчивости. В их числе платформа Supermicro Storage Bridge Bay (SBB), оптимизированная для ответственных приложений хранения данных уровня предприятия. Super SBB (SYS-6036ST-6LR) – это полностью резервированная отказоустойчивая система, которая обеспечивает «горячую замену» для всех активных компонентов: парное соединение Ethernet 10G между двумя серверными платами (на каждой по два чипа Xeon 5500/5600, шесть слотов DIMM, три PCI-E Gen2 и SAS 2.0 (6 Гбит/с) в сочетании с высокоскоростным зеркалированием кэша гарантирует доступ к жестким дискам даже при отказе одной из них. Эта платформа в связке с RAIDIX позволяет в едином корпусе реализовать отказоустойчивую систему хранения данных емкостью до 32 ТБ, отвечающую требованиям mid-range-сегмента, причем готовая система хранения данных будет обладать не только требуемым (и достаточно высоким) уровнем надежности, но и привлекательной ценой. Благодаря возможности использовать дублированные компоненты в рамках одной аппаратной конфигурации, концепция RAIDIX существенно повышает надежность всего СХД в целом: например, посредством механизма синхронизации данных на контроллере, находящемся в режиме ожидания, в любой момент времени содержится «слепок» конфигурации и данных активного контроллера. Таким образом, при выходе из строя активного контроллера пассивный прозрачно для пользователей «берет на себя» всю нагрузку, предоставляя тем самым пользователям сохранить доступ к данным, а техническому персоналу - возможность заменить неисправное устройство. Время передачи управления второму контроллеру в случае такой реализации существенно меньше, что очень важно для отказоустойчивых систем.</p>
<p>Характерно, что подобное комплексное решение (специализированная высоконадежная платформа плюс программное обеспечение RAIDIX для создания СХД) позволяет решить задачу, которую практически невозможно решить классическими средствами в рамках бюджета: решение на основе бесплатного ПО будет обладать низкой надежностью, но минимальной ценой – по сути оно вплотную приблизится к сегменту entry level; полностью аппаратное решение, конечно же, обеспечит максимальный уровень надежности, но его стоимость будет приближаться к hi-end. Таким образом, рассмотренный вариант можно вполне рекомендовать компаниям малого и среднего размера в тех случаях, когда есть необходимость достичь оптимальной надежности хранения данных и не превысить возможности бюджета. Впрочем, достаточно подсчитать стоимость времени простоя или убытки при утрате важной для бизнес-процессов информации, чтобы оценить – стоит ли экономить средства на построении отказоустойчивой системы хранения данных.</p>
Источник: IT News №11 (июнь 2011 года)
Опубликовано 08.07.2011