Компьютерные сети, сети связи, ЦОД

Зачем нужны стандарты проектирования ЦОД

Все большую важность приобретает выработка единого подхода к организации ЦОД. Стандартизация должна способствовать консолидации инфраструктуры, уменьшению ее сложности, повышению управляемости, соответствию требованиям бизнес-процессов и сокращению затрат. Стандарты обобщают опыт, накопленный в ходе построения и эксплуатации различных центров данных и серверных помещений, стимулируют системный подход к реализации инфраструктуры, приводя тем самым к предсказуемой тиражируемости и масштабируемости решений, помогают унифицировать реализацию взаимосвязанных инфраструктурных систем и упростить внесение изменений.

Стандартизация рассматривается как один из принципов системного подхода к построению инфраструктуры, обеспечивающий масштабируемость решений и сокращение капитальных расходов. Она помогает унифицировать реализацию взаимосвязанных инфраструктурных систем ЦОД.

Стандарты определяют, какие факторы следует учитывать при планировании и подготовке монтажа ЦОД (или другой серверной инфраструктуры), включая архитектурный проект, электроснабжение, заземление, различные инженерные коммуникации. Стандарты ЦОД специфицируют более десятка взаимосвязанных подсистем, что позволяет выработать единый подход к реализации инженерной инфраструктуры и снизить число возможных ошибок.

Какие организации разрабатывают стандарты для ЦОД

За рубежом есть организации, объединяющие специалистов по построению и эксплуатации центров данных. Например, Institute for Data Center Professionals (IDCP) разрабатывает стандарты на инфраструктуру ЦОД и накапливает обширную статистику. В России действующих ЦОД еще слишком мало, чтобы делать обобщения, но можно использовать зарубежные опыт и модели расчетов, например Uptime Institute. Проходящие в нашей стране конференции позволяют знакомиться с достижениями в этой области, с вариантами реализации ЦОД, в которых учитывается специфика деятельности предприятия и решаемых задач.

Какие стандарты используются в проектировании ЦОД

В настоящее время проектировщики руководствуются американским стандартом EIA/TIA-942 («Стандарт на телекоммуникационную инфраструктуру центров обработки данных»). Близок к завершению его европейский аналог EN 50173−5, на основе которого формируется и российский ГОСТ.

Американский стандарт ANSI TIA/EIA-942 (TIA-942) «Telecommunications Infrastructure Standard for Data Center» был утвержден в апреле 2005 г. Пока это единственный комплексный стандарт, где освещается широкий круг вопросов, связанных с организацией ЦОД. Он предлагает последовательный подход к решению задач по созданию ЦОД. Комплексных европейских и международных аналогов не существует, однако, как предполагается, ISO возьмет его за основу при разработке соответствующего международного стандарта. Для ряда американских стандартов, входящих в ANSI/EIA/TIA-942, имеются международные аналоги. Так, например, аналогами ANSI/TIA/EIA-568 (Commercial BuildingTelecommunications Cabling Standard, Implementationof Telecommunications Enclosures, Additional Cabling Guidelines for DTE Power) являются ISO 11801и европейские EN 50173, EN 50174 (Comite Europeen de Normalisation Electrotehnique, CENELEC). Стандарт обобщает многолетний опыт создания ЦОД. Следование его рекомендациям позволяет максимально приблизиться к уровню надежности с заветными пятью девятками — 99,999%. Ряд требований следует принять в качестве постулата. Специалисты руководствуются также европейским стандартом CENELEC/EN 50173−5.200Х, принятие которого ожидается в этом году. Стандарт TIA-942 описывает общую структуру, основные элементы и топологию ЦОД и охватывает все разнообразие подсистем ЦОД, включая систему электроснабжения. К сожалению, до сих пор не существует единого российского ГОСТа, где были бы определены требования к ЦОД.

Стандарты базовой топологии ЦОД

Параметр / Класс ЦОД (уровень)	1 Низкая отказоустойчивость	2	3	4 Высокая отказоустойчивость
Тип здания	C соседями		Отдельно стоящее
Количество энерговводов	1		Один активный, второй резервный	Два активных
Первоначальная мощность из расчета Вт на фут2 / Вт на м2	20 — 30 / 215 — 323	40 — 50 / 430 — 537	40 — 60 / 430 — 645	50 — 80 / 537 — 860
Максимальная мощность Вт на фут2 / Вт на м2	20 — 30 / 215 — 323	40 — 50 / 430 — 537	100 — 150 / 1075 — 1615	150+ / 1615+
Бесперебойное кондиционирование	Нет		Возможно	Есть
Высота фальшпола в дюймах / метрах	12» / 0.3	18″ / 0.45	30″ — 36″ / 0.75 — 0.9	30″ — 36″ / 0.75 — 0.9
Нормативная нагрузка на фальшпол, фунты на фут2 / кг на м2	85 / 415	100 / 488	100 — 150 / 732	150+ / 732+ (по страндарту 2005г 1000+)
Общая длительность отказов за год	28,8 ч	22 ч	1,6 ч	0,4 ч
Доступность ЦОД	99,671 %	99,749 %	99,982 %	99,995 %
Срок ввода в эксплуатацию (мес.)	3	3 — 6	15 — 20
Типовой проект впервые реализован в	1965 г.	1970 г.	1985 г.	1995 г.
Стоимость строительства (+ — 30%) Площадь фальшпола* Мощность ИБП	$ 4844 / м2 $ 10 000 / кВт	$ 6450 / м2 $ 11 000 / кВт	$ 9700 / м2 $ 20 000 / кВт	$ 11 800 / м2 $ 22 000 / кВт

* Примечание: указанная стоимость за м2 характерезует инвестиции во все системы жизнеобечения ЦОД, гарантирующие требуемые значения доступности.

Требования по надежности и безопасности должны формироваться еще на этапе выбора помещения под ЦОД или планирования его строительства.

Стандарты энергоснабжения ЦОД

На практике при расчете системы энергоснабжения подобных объектов проектировщики руководствуются действующим на территории РФ регламентирующим актом «Правила устройства электроустановок (ПУЭ)». Этот документ выделяет категории надежности электроснабжения (объекты I, II категории и объекты особой группы первой категории) и дает общие рекомендации по обеспечению каждого из уровней.

Стандарт TIA-942 определяет четыре уровня бесперебойной работы ЦОД. Первый уровень составляет 99,67 %, что соответствует запланированному времени простоя не более 28,8 часов в год. Уровень надежности ЦОД IV класса составляет 99,995 %, что означает суммарный перерыв в работе не более 15 минут в год. В отличие от первого уровня четвертый предполагает полное резервирование. На практике даже при значительном улучшении дизайна компьютерного оборудования ЦОД, построенные за последние пять лет и заявляющие функциональность IV уровня, в действительности часто соответствуют I, II и III уровню. Центры первого и второго класса могут занимать часть какого-либо помещения, а объекты III и IV класса размещаются в отдельных зданиях.

Требования к энергетической системе ЦОД IV уровня надежности также предусматривают полное резервирование. Такой центр должен быть оснащен как минимум двумя полностью независимыми электрическими системами, начиная от фидеров электропитания и входных магистралей от провайдеров услуг связи и заканчивая дублированием блоков питания серверных лезвий. Основные положения стандарта TIA 942 в части, касающейся энергоснабжения ЦОД:

• помещение для ввода кабелей (Entrance Room) в базовой топологии оно одно, но может быть и несколько
• главный распределительный пункт (Main Distribution Area, MDA), где расположен центральный кросс кабельной системы ЦОД, маршрутизаторы, коммутаторы локальной сети и сети хранения данных. Там же могут размещаться и кроссы, предназначенные для коммутации горизонтальных кабелей. Для целей резервирования в ЦОД может быть организовано два и более MDA
• пункт распределения горизонтальной подсистемы общей кабельной системы ЦОД (Horizontal Distribution Area, HAD)
• распределительный пункт зоны (Zone Distribution Area, ZDA), наличие которого расширяет возможности по реконфигурации системы
• область размещения компьютерного оборудования (Equipment Distribution Area, EDA).

Стандарты структуры СКС ЦОД

В стандарте подробно описывается структура кабельной системы ЦОД, начиная с магистральных каналов и заканчивая розетками, устанавливаемыми в EDA. Ограничения накладываются на типы используемых кабелей и их длину. Кроме того, он охватывает целый круг вопросов, связанных с организацией центра обработки, таких, как электроснабжение и безопасность (последняя включает множество направлений).

Стандарты строительства ЦОД

Российский документ СН-512−78 (строительные нормы) «Инструкция по проектированию зданий и помещений для электронно¬вычислительных машин», последняя редакция, февраль 2000г. интересен с точки зрения общего подхода, а также ссылок на действующие СН и СниП. При проектировании нор¬мируемые параметры можно уточнить, обратившись к действующим ГОСТам, МГСН, НБП, РД и другим документам отечественной нормативной базы.

Стандарты защиты информации ЦОД

Важнейшеий европейский стандарт по (физической) защите информации — EN 1047−2 «Защищенные хранилища. Классификация и методы тестирования. Комнаты и контейнеры для хранения баз данных». Этот стандарт определяет классы защиты от высокой температуры и влажности, а также нормируется период остывания после нагрева.

Стандарты и требования к помещению ЦОД

К ЦОД предъявляются также требования по предупреждению проникновения дыма или газа (DIN 18095) и просачивания воды (DIN EN 60529−2000), защиты от взлома (DIN V 18103), а также по экранированию от электромагнитного излучения (EN 50147) и ряд других. Именно они оказывают определяющее влияние на конструктивные особенности помещений ЦОД.

Архитектурно-инженерное проектирование ЦОД

На нынешний день сформирован вполне определенный перечень наиболее актуальных задач, стоящих перед проектировщиками ЦОД. Например, аналитики TechTarget выделяют такие из них, как защита данных, сокращение расходов, обеспечение производительности систем и их оптимизация, резервное копирование и восстановление, рост объемов электронной почты, обоснование затрат на инфраструктуру, соответствие требованиям подразделений, модернизация платформ, рост объемов хранимой информации и сложность управления системами. Небезынтересны в этом разрезе результаты прошлогоднего опроса CMP среди специалистов по эксплуатации ЦОД: наибольшее внимание уделялось таким вопросам, как актуальность обеспечения непрерывности бизнес-процессов и масштабируемость, не менее важными задачами остаются электропитание и охлаждение.

Подбор оборудования для ЦОД

Устаревшие технологии ИБП обходятся дорого

Надежное энергоснабжение в центрах обработки данных (ЦОД), как правило, обеспечивается с помощью источников бесперебойного питания (ИБП). Для поддержки критически важных приложений чаще всего используются ИБП с двойным преобразованием по стандарту IEC 620403, класс 1. За последние годы в этой области произошли значительные технические изменения, поэтому, прежде чем приступать к замене батарей, владельцу ЦОД следует подумать, не выгоднее ли вложить средства в новую систему ИБП с более высоким КПД, вместо того чтобы приобретать новые аккумуляторы для устаревшего ИБП.

Детальное ознакомление с предлагаемыми производителями ИБП очень полезно, поскольку приобретение новой системы может обойтись дешевле, чем эксплуатация уже устаревшего оборудования. Решающим доводом становится общая стоимость владения (Total Cost of Ownership, TCO). Как правило, новое устройство ИБП благодаря своему более высокому КПД не только быстро окупает затраты на его приобретение, но и экономит энергию, а значит, деньги.

При выборе подходящих решений владельцу ЦОД следует принять во внимание следующие критерии:

• какая система в большей степени соответствует требованиям пользователя?
• какие рыночные тенденции наиболее перспективны?
• действительно ли приобретение нового ИБП оправдано с экономической и экологической точек зрения?
• как обстоят дела с доступностью и безопасностью (уровни Tier 1−4)?
• возможны ли гибкие расширения и модернизация системы в случае изменения предъявляемых к ней требований?
• какие затраты следует ожидать на протяжении всего жизненного цикла системы ИБП?

Обзор технологий ИБП

Представленные на рынке системы ИБП имеют самые разнообразные функции и варианты исполнения. В настоящее время применяются три основных типа: резервные (Offline или Standby), линейно-интерактивные (Line-interactive) и активные (Online) системы. Резервные системы, согласно предписаниям IEC 620403, класс 3, получили новое название: системы с зависимостью от напряжения и частоты (Voltage and Frequency Dependent, VFD); они защищают оборудование лишь при исчезновении напряжения, падении напряжения, а также повышении напряжения, поэтому не пригодны для использования в ЦОД, серверных помещениях и не применяются в технологиях автоматизации.

ИБП интерактивного типа — в соответствии с классификацией IEC 620403, класс 2, это системы с независимостью от напряжения (Voltage Independent, VI) — помимо прочего, защищают от коротких замыканий во внешней электросети и от линейных шумов. Этот тип ИБП применяется, прежде всего, в тех сферах, где выравнивание напряжения не имеет критического значения для эксплуатации систем. ИБП классов 2 и 3 схожи в том, что переход на работу от батарей происходит только в случае исчезновения напряжения в электросети. Их владельцам нужно принимать во внимание время, необходимое на переключение, так как для критически важных приложений оно может оказаться слишком большим.

Системы с независимостью от частоты и напряжения (Voltage and Frequency Independent, VFI) класса 1 по стандарту IEC 620403 соответствуют активным системам с двойным преобразованием и обеспечивают наивысший уровень защиты. Как генераторы электричества, они непрерывно вырабатывают собственное сетевое напряжение, поэтому подключенные устройства постоянно и без ограничений снабжаются сетевым напряжением, форма которого соответствует правильной синусоиде. В отличие от решений класса 2, они защищают оборудование от высоких пиков напряжения, отклонений частоты, пиков включения и верхних гармоник и, тем самым, поддерживают работу основных критически важных для предприятия приложений.

Современные ИБП с двойным преобразованием работают без трансформаторов, а некоторые оснащены выпрямителями на биполярных транзисторах с изолированным затвором (Insulated Gate Bipolar Transistor, IGBT). В результате они не только обеспечивают больший КПД (по сравнению с ранее выпускавшимися устройствами), но на их изготовление требуется меньше железа и меди.

К примеру, если нужно защитить модульные серверы (Blade Server), создающие большую емкостную нагрузку, то традиционные системы работают с очень низким КПД, составляющим около 89%, поскольку используют трансформаторную технологию, рассчитанную на индуктивные нагрузки. На бестрансформаторные ИБП это практически никак не влияет, и при такой нагрузке их КПД достигает 90−95%. Таким образом, даже при использовании в ЦОД модульных серверов, мощность ИБП может быть снижена.

Параллельное подключение против модульного подхода

Для определения экономической эффективности ИБП важно учитывать не только стоимость приобретения, но затраты, возникающие в случае потенциального сбоя, а также эксплуатационные расходы, рассчитываемые за весь период использования системы. В избыточных системах с немодульной архитектурой для обеспечения требуемой защиты от сбоев применяются два идентичных устройства. В случае отказа одного, второе сможет полностью обеспечить необходимую мощность. Однако такой подход имеет ряд недостатков. В частности, обе системы постоянно включены, даже если условия позволяют обходиться лишь одной из них. К тому же они функционируют в режиме частичной нагрузки с крайне низким КПД, а поскольку модернизировать такие системы сложно, они, как правило, планируются с чрезмерным запасом мощности.

В случае модульных систем со вставными элементами ИБП формата 19”избыточность обеспечивается по формуле N+1. Это означает, что при сбое одного модуля остальные способны взять на себя всю нагрузку. Так, мощность 120 кВА будут обеспечивать не две установки по 120 кВА каждая, а четыре модуля по 40 кВА. При такой концепции все модули работают с оптимальной загрузкой и очень высоким КПД, так что добавочная нагрузка в энергетическом балансе будет гораздо меньше. Таблица  показывает, какие экономические и финансовые выгоды приносят повышение КПД всего лишь на несколько процентов. Одновременно с этим, такая концепция положительно влияет на доступность систем: при этом важно учитывать не только среднее значение наработки на отказ (Mean Time Between Failure, MTBF), но и среднюю продолжительность ремонтных работ (Mean Time To Repair, MTTR).

Сравнение параллельных и модульных систем ИБП по экономическим и экологическим характеристикам.

Сравниваемые системы ИБП	Модульная Newave DPA	Параллельная система
Состав	4 * 40 кВА	2 * 120 кВА
Активная мощность потребителя (кВт)	80	80
КПД ИБП (при частичной нагрузке)	94%	90%
Входная мощность	85,1	88,9
Теряемая мощность ИБП (кВт)	5,1	8,9
Ежегодная мощность потерь ИБП (кВт х ч)	44732	77867
Тарифы на электроэнергию (еро за кВт х ч)	0,13	0,13
Дополнительные расходы из-за теряемой мощности за год (без учета охлаждения) (евро)	5815,15	10122,67
кВт х ч в год с охлаждением 1,35	60,388	105120
Теряемая мощность вследствие охлаждения (евро) 0,35	2035,30	3542,93
Дополнительные расходы за год с учетом охлаждения (евро)	7850,45	13665,60
За 5 лет	39252,26 евро	68328,00 евро
За 10 лет	78504,51 евро	136656 евро
Разница за 10 лет		58151,49 евро
Выброс в CO2 за год 0,6	36233 кг	63072 кг
Разница в CO2 за год (примерно соответствует 115 тыс.км пробега легкового автомобиля гольф-класса)		26839 кг

При избыточности по принципу N+1 значение MTBF неизбежно снижается, поскольку, когда применяются несколько модулей, повышается вероятность сбоев, однако у некоторых производителей в случае возникновения неполадок или повышения нагрузки модули можно менять без прерывания работы системы, что приводит к заметному снижению значения MTTR по сравнению с традиционными системами и существенному повышению общей доступности и безопасности системы. Кроме того, поскольку такая замена выполняется легко, пользователь в состоянии справиться с ней самостоятельно. Поврежденный компонент можно отдать в ремонт, а затем снова установить, не прерывая эксплуатацию системы.

Покупать модульные ИБП с расчетом на максимальную ожидаемую нагрузку не обязательно: по мере повышения требований к производительности их можно наращивать дополнительными модулями (в соответствии с принципом «оплата по мере роста» — pay as you grow).

Дополнительные функции

Новые технологии ИБП обладают еще несколькими практичными функциями: для осуществления обслуживания систем по мере необходимости, а не в соответствии с жестко фиксированными графиками техобслуживания, многие производители предлагают инструменты для контроля состояния своих ИБП: в случае возникновения неполадок они отправляют уведомления по локальной сети, через Internet или в виде SMS на мобильный телефон (см. Рисунок). Помимо этого, оптимизированные технологии зарядки препятствуют полной разрядке или избыточной зарядке батарей, благодаря чему срок их службы повышается на 30% и более.

В настоящее время, когда защита окружающей среды и эффективность приобретают все большее значение, замена устаревшей системы ИБП может быть вполне оправдана. А при выборе решения на основе модульных систем новое приобретение окупится особенно быстро.

На основе экспертизы потребностей в электропитании осуществляется подбор соответствующих компонентов инфраструктуры. После такой оценки можно будет приступать к детальному планированию.

На этапе подбора оборудования важно помнить о том, что от оборудования во многом будут зависеть издержки, связанные с энергопотреблением.

Подбор серверного оборудования

Масштабы ИТ-инфраструктуры зависят от поставленных задач, ибо у всех крупных производителей вычислительной техники сегодня есть системы, позволяющие удовлетворить любые требования — от очень скромных до самых серьезных. Поэтому если есть необходимость выбрать серверную подсистему или подсистему хранения данных для работы конкретных бизнес-приложений, при проектировании центра обработки данных выполняется «сайзинг» оборудования, то есть выбор параметров платформы, определяемый поставленными задачами. У всех разработчиков бизнес-приложений (SAP, Oracle и др.) существуют опросные листы, на основании которых производители аппаратуры (IBM, HP, Sun Microsystems и др.) проводят «сайзинг».

Компания Emerson Network Power рекомендует учитывать при выборе оборудования так называемый «каскадный эффект» снижения энергопотребления, который обеспечивается за счет правильного выбора оборудования.

Подбор электропитающего оборудования

Подбор электропитающего оборудования для ЦОД требует особого подхода к вопросам резервирования элекропитания. Для резервирования электропитания обычно применяется принцип «N+1», когда для электропитающей установки постоянного тока (ЭПУ) на N рабочих выпрямителей приходится один резервный. При большом количестве выпрямителей малой мощности число резервных выпрямителей может быть увеличено: главное, чтобы при выходе из строя одного выпрямителя обеспечивалось полноценное функционирование установки питания, т. е. питание нагрузки во всех режимах, заряд аккумуляторной батареи после пропадания и восстановления внешнего электроснабжения, исключение необходимости немедленного выезда ремонтного персонала. В качестве резервного источника постоянного тока используются свинцово-кислотные аккумуляторные батареи (АБ), а чаще – герметизированные (VRLA) аккумуляторные батареи. В зависимости от категории надежности объекта для обеспечения бесперебойности электроснабжения его питание может быть организовано от независимых взаимно резервирующих источников электропитания от электрических сетей энергосистемы с применением устройств автоматического ввода резерва. В качестве одного из независимых источников могут использоваться автоматизированные дизель-электрические станции (АДЭС).

С началом использования в телекоме ИБП переменного тока (UPS) картина несколько изменилась: индивидуальные маленькие UPS ничем не резервировались, а для больших установок применялся дорогой принцип резервирования «1+1». В дальнейшем изготовители оборудования ИБП стали предлагать модульные системы, позволяющие блочное наращивание. Это позволяет оперативно наращивать или уменьшать мощность ИБП в зависимости от требований нагрузки. Но надежность при этом не повышается. А требования к надежности систем питания неуклонно растут. Сегодня коэффициент готовности ТфОП оценивается величиной «пять девяток» (0,99999), что соответствует 5,5 минуты простоя в год. Надежность системы питания при этом должна быть в несколько раз выше. По некоторым оценкам, к 2010 г. не менее 25% критичных нагрузок потребуют надежности питания «семь девяток»! ЦОД можно отнести, наверное, к нагрузкам, несомненно, попадающим в упомянутые 25%. Для повышения надежности параллельно основному ЦОД часто строится резервный (РЦОД).

Подбор охлаждающего оборудования

В Uptime Institute определяют три класса систем бесперебойного охлаждения, выбор которых зависит от нагруженности стоек и объема воздуха в машинном зале в расчете на стойку:

• класс A (вентиляторы кондиционеров и циркуляционные водяные насосы питаются от ИБП, между чиллером и кондиционером имеется гидроаккумулятор в водяной петле),
• класс B (вентиляторы кондиционеров работают за счет ИБП)
• класс C (традиционное электроснабжение системы охлаждения: только от гарантированного электропитания с перерывом на время запуска ДГУ и повторного включения системы охлаждения).