“Инженерка”: зачем и как

Подход к реализации инженерных систем основывается на двух основных факторах. Это характеристики активного оборудования и место его установки.

Характеристики активного оборудования, необходимые для проектирования и реализации инженерных систем, включают в себя габариты, количество и тип оборудования, напряжение питания и мощность, массу оборудования и его тепловыделение. В некоторых случаях производитель активного оборудования предъявляет особые условия к эксплуатации, которые необходимо учитывать в проектировании инженерных систем. В итоге, аккумулируя полученную информацию, можно предложить заказчику различные варианты размещения на имеющихся площадях или альтернативы.

При определении требований в выборе помещения необходимо учитывать тенденции развития предприятия, информационных и телекоммуникационных систем, предусмотреть варианты расширения ЦОД.

В ЦОД обычно выделяют следующие технологические участки: серверная, помещение персонала (центр мониторинга и управления), помещение инженерных систем (UPS, и т.п.), вспомогательное помещение (склад, участок подготовки, и т.д.).

На сегодняшний день большинство ЦОДов размешаются в зданиях, но в последнее время особенно актуально и популярно становится решение “мобильный ЦОД”, системы в контейнерном исполнении.

Стационарный ЦОД

Для создания ЦОДа предприятию необходимо иметь собственные площади или заключить договор на долгосрочную аренду (аренда, безусловно, менее привлекательна, так как стоимость, в особенности в крупных городах, очень высока). В России под ЦОД редко отводят отдельные строения, зачастую помещения выделяются по остаточному принципу из активов, имеющихся в компании. Использование существующих помещений требует учета большого количества критериев, в том числе характеристики несущих перекрытий здания, разрешенную для него электрическую мощность, высоту помещения, возможность установки фальшпола и подвесного потолка, запас площадей для расширения ЦОД, возможность размещения дизель-генератора, электрощитовой, системы пожаротушения, наличие воды и канализации для систем климатического контроля.

Особое внимание нужно уделить электроснабжению и отводу тепла. При строительстве ЦОД желательно иметь два независимых ввода электропитания и дизель – генераторную установку, обеспечивающую гарантированное электропитание. Необходимо учесть, что при мощности в 5 – 7 кВт на стойку проблему теплоотвода можно решить традиционными способами с помощью прецизионного кондиционирования. Но при более высоком тепловыделении приходится переходить с традиционного кондиционирования на локальное охлаждение шкафов с помощью системы жидкостного поддержания микроклимата. Компании AIREDALE, EMICON A/C, LIEBERT предлагают системы охлаждения (включая жидкостное охлаждение), применение которых существенно снижает количество отказов и затраты на сервис.

Планируя подвод линий связи в здании, так же как и в системе электроснабжения, надо организовать не менее двух независимых вводов для магистральных линий связи. Они не должны пересекаться или проходить в близости друг от друга.

При выборе источников бесперебойного питания (ИБП) желательно использовать систему с двойным преобразованием. Основные элементы ИБП с двойным преобразованием при работе от сети постоянно находятся под нагрузкой. При выходе из строя, например, инвертора, подача напряжения к нагрузке прервалась бы и ИБП не только не выполнил бы своего предназначения, но даже сам из-за своей поломки мог бы стать причиной потери данных в подключенном к нему активном оборудовании. Для того, чтобы этого не происходило, в ИБП введена еще одна линия электроснабжения нагрузки - статический байпас. При выходе из строя инвертора или его перегрузке срабатывает переключатель (размыкается линия “инвертор-нагрузка” и замыкается линия “байпас-нагрузка”), и продолжает осуществляться питание от сети.

Реализация систем пожарной сигнализации и газового пожаротушения имеет большое значение как для безопасности и сохранности оборудования, так и для сдачи объекта организациям по надзору.

Системы контроля доступа, охранной сигнализации и видеонаблюдения будут необходимы при строительстве инженерных систем ЦОД, так как доступ в помещение должен быть ограничен и строго регламентирован.

Подсистема автоматизированного мониторинга и управления обеспечивает контроль состояния инженерного оборудования и окружающей среды в серверных помещениях. Подсистема строится по распределенной многоуровневой схеме. В каждом серверном помещении устанавливается контроллер, обеспечивающий сбор информации от установленных датчиков. В одном из помещений размещается рабочая станция - место работы оператора системы мониторинга, обеспечивающая сбор и обработку всей контролируемой информации. Эти функции могут осуществлять различные системы. Производители предлагают широкий спектр программных продуктов. Примером может являться ПО SCADA системы INDUSOFT Web Studio 6. Данное ПО позволяет контролировать инженерное оборудование и состояние среды как непосредственно с рабочего места оператора, так и с компьютеров других удаленных пользователей системы мониторинга.

При проектировании инженерной инфраструктуры ЦОД предполагается обязательное резервирование всех систем комплекса.

Мобильный ЦОД

Решение в контейнерной оболочке довольно новое, но уже завоевало популярность во многих сегментах рынка. Активное оборудование размещается в контейнере, укомплектованным соответствующими инженерными системами “жизнеобеспечения”. Контейнер устанавливается на любую ровную площадку, как в здании, так и на улице, или непосредственно на прицеп - шасси.

Развертывание мобильного ЦОД происходит в десятки раз быстрее тридиционного. Мобильный ЦОД смонтирован в стандартном транспортном контейнере, поэтому его можно доставить в любую точку на самолете, поезде или автомобиле за короткое время. Такое решение является отличным вариантом для отдаленных районов или городов с ограниченным свободным пространством, с высокой стоимостью аренды площадей или покупки здания. Это решение повышает уровень гибкости работы, ЦОД можно развертывать или передислоцировать в случае изменения потребностей. На сегодняшний день актуально использовать мобильный ЦОД при ограниченной возможности поставщиков в дополнительных электрических мощностях. Преимущество этого решения в масштабируемости и, безусловно, в сохранении инвестиций при любом перемещении, связанным с переездом, ростом компании или созданием холдинга.

Большой объем вычислительных ресурсов сосредоточен в небольшом контейнере (варианты исполнения в контейнерах 20-ти или 40 футовых). На этой небольшой площади размещаются до восьми стоек с активным оборудованием мощностью от 12,5 кВт до 25 кВт на стойку. Конструкция мобильных ЦОД обеспечивает плотность монтажа оборудования в четыре раза выше по сравнению со стационарным ЦОД.

При проектировании инженерных систем применяются различные варианты охлаждения: сплит-системы, прецизионное кондиционирование, системы водяного охлаждения. У каждой системы есть свои преимущества, например, у воздушного охлаждения - в отсутствии дополнительных требований к подводу коммуникаций (водопровод, канализация). В тоже время, применение водяного охлаждения (в особенности система с замкнутым контуром) существенно снижает затраты на энергообеспечение, в расчете на одну единицу оборудования, по сравнению с воздушным охлаждением (до 40% меньше энергозатрат). Соответственно, плотность размещаемого активного оборудования выше.

Варианты реализации мобильных ЦОД зависят от различных факторов: количества и характеристик активного оборудования, места предполагаемой установки, необходимости резервирования различных систем, ну и, безусловно, стоимости комплекса.

Одним из вариантов распространенных решений является комплекс, в состав которого входят шесть контейнеров: с активным оборудованием; с системой бесперебойного питания (основной и резервный); с системой охлаждения (основной и резервный); с дизель – генератором.

Это мобильное решение зарекомендовало себя как наиболее надежное, с возможностью установки большой вычислительной мощности, с резервированием основных инженерных систем. И, что немаловажно, с быстрым и легко реализуемым монтажом на площадке. Этот вариант в России постепенно становится стандартом мобильных ЦОД.

Типовые решения

Безусловно, для создания типовых решений необходимы различные факторы, которые побудили бы компанию интегратора начать разработку. Прежде всего, это оптимизация рабочих процессов для сокращения издержек при реализации проектов и сокращения времени проектных работ. Вот еще несколько причин для создания типового решения: сокращение сроков поставки, снижение стоимости на оборудование за счет регулярных поставок и предсказуемых объемов закупок, оптимизация расходов на обучение персонала, на подготовку сертификационных документов.

Перед формированием решения, анализируя рынок, его потребности, тенденции и методы работы предполагаемых заказчиков необходимо выделить решения из накопленного многолетнего опыта работы компании. После систематизации и обобщения полученной информации можно приступить к формированию нескольких вариантов типовых решений. Нужно выбрать поставщиков оборудования, создать типовой проект, разработать ценовую политику, подготовить необходимый пакет документации: sales book, техническое описание решения, ТКП, рекламные материалы. Хотелось бы отметить, что с самого начала работы по формированию типового решения, необходимо параллельно проводить маркетинговые мероприятия.

Многие интеграторы уже формируют такие решения или начинают понимать необходимость начала деятельности в данном направлении. Встречаются компании, которые не видят типовых решений в реализации инженерных систем ЦОД и считают невозможным формирование такого рода задач.

Типовое - это, прежде всего, тщательно отработанное решение, основанное на анализе различных потребностей заказчика. Типовое решение не только сократит время развертывания инженерных систем ЦОД и повысит их надежность, но и своевременно позволит потребителю сформировать бюджет, так как изначально известная конечная цена включает в себя все этапы создания ЦОД “под ключ” (от проектирования до монтажа и обслуживания).

Помимо этого, затраты на типовое решение меньше, нежели на индивидуальное проектирование ЦОДа.

Виктор Власенко

Пример типового решения – инженерные системы стационарного ЦОДа

Увеличить

• Площадь помещения ЦОД S=50 кв.м
• Размещение до 10 стоек с вычислительным оборудованием
• Энергопотребление серверного оборудования составляет 50 кВт (до 5 кВт на стойку)
• Резервирование инженерных систем по схеме N+1
• Система кондиционирования на базе двух (рабочий и резервный) прецизионных кондиционеров, холодопроизводительностью 60 кВт каждый
• Система бесперебойного питания на базе модульного ИБП мощностью 80 кВА / 64 кВт
• (резервирование по схеме N+1) работающих в параллель со временем автономии 15 минут при нагрузке 50 кВт
• Система гарантированного питания на базе мобильного ДГУ мощностью 300 кВА / 240
• кВт в контейнере, расположенного на прилегающей территории (опционально)
• СКС и фальшпол высотой 300-400 мм
• Система автоматического газового пожаротушения
• Охранные системы: ОПС, СКД, видеонаблюдение (опционально)
• Система мониторинга (опционально)

Пример типового решения - комплекс мобильных инженерных систем ЦОДа

Увеличить

Система бесперебойного питания в блок – контейнере на шасси – 2 шт.
Система гарантированного питания в блок – контейнере на шасси – 1 шт.
Система охлаждения РВВ в блок – контейнере на шасси – 2 шт.
Прицеп – шасси (для установки контейнера РВВ), СКС для контейнера с активным оборудованием “BlackBox”.

• Энергопотребление (взято за основу) серверного оборудования составляет (контейнер “BlackBox”) - 160 кВт, размещается на шасси.
• Система поддержания микроклимата комплекса - система холодоснабжения для “BlackBox” строится на базе чиллерного охлаждения, источником холода является чиллер (холодильная машина), работа холодильного оборудования осуществляется по схеме (2N), 100% резервирование холодильного оборудования, насосных групп и вспомогательного оборудования. Холодопроизводительность каждой холодильной машины принимается по 160кВт. Размещается на шасси.
• Система кондиционирования инженерных комплексов - поддержание необходимых температурных параметров воздуха внутри инженерных контейнеров с источниками бесперебойного электропитания, батарейными модулями и щитовым оборудованием. Предусматривается самостоятельная система кондиционирования воздуха, работающая по схеме (N+1). Номинальная холодопроизводительность 16, 1 кВт.
• Система бесперебойного питания серверного оборудования (каждая состоит из двух ИБП + двух шкафов с АКБ + сервисного байпаса) и ИБП+АКБ для питания критичного инженерного оборудования. Два независимых одинаковых контейнера, резервирование по схеме (2N, 100%). Размещается на шасси
• Система гарантированного питания на базе мобильного ДГУ мощностью 660кВА/528кВт в контейнере, размещается на шасси
• Структурированная кабельная система
• Система автоматического газового пожаротушения
• Охранные системы: ОПС, СКД, видеонаблюдение (опционально)
• Система мониторинга инженерных систем (опционально)

Александр Ласый: ЦОД – это всегда индивидуальный проект

На вопросы CNews ответил Александр Ласый, директор департамента автоматизации инженерных систем компании “Крок“.

CNews: Согласны ли Вы с тем, что при организации ЦОДа “инженерной составляющей” отводится минимальное количество времени и бюджетных средств? Если да, то почему так происходит?

Александр Ласый: Это не всегда так. Время, которое отводится на инженерную часть проектов построения ЦОДов, обычно действительно очень ограничено. А вот бюджеты, как правило, отводятся разумные, поскольку заказчики осознают важность качественного инженерного фундамента ЦОД для непрерывности своего бизнеса. Нехватка времени обычно вызвана затягиванием фазы принятия окончательных решений относительно начала этапов создания ЦОДа, выбора вендоров, проведения тендеров и определения победивших. Все эти административные процедуры весьма длительны, и часто их результат не вполне предсказуем. Вследствие этого решение принимается в самый последний момент, что вынуждает подрядчиков выполнять условия договоров при максимальном напряжении сил.

CNews: Какой процент от общих расходов на разработку ЦОДа составляют затраты на инженерные системы?

Александр Ласый: Затраты и на инженерные системы, и на ЦОД в целом варьируются в зависимости от масштаба ЦОДа, типа применяемого оборудования и размера затрат на общестроительные работы. Обычно 15-25%, но возможны варианты от 10% до 35%.

CNews: Нужны ли типовые решения в реализации инженерных систем ЦОДа? Есть ли они у вашей компании?

Александр Ласый: ЦОД – это всегда индивидуальный проект, но типовые решения все же необходимы. Особенно при создании серии подобных друг другу ЦОДов – такие решения мы применяем. Но типовые решения не должны быть самоцелью. Скажем, использование у одного заказчика на разных объектах оборудования одного и того же вендора – это пример на 100% оправданной унификации.

CNews: В каких случаях типовое решение позволяет сэкономить время и/или финансы?

Александр Ласый: В случае грамотного применения типовых решений - всегда. Главное – правильно определить, какую часть проектов можно и нужно унифицировать, а какие части нужно отрабатывать индивидуально. Для этого требуется пул опытных и грамотных руководителей проектов и инженеров. И то, и другое у “Крока” есть.

CNews: Какие решения предлагают Ваши специалисты?

Александр Ласый: “Крок” создает всю необходимую для эффективного и безотказного функционирования ЦОД инженерную инфраструктуру: климатические системы (технологическое кондиционирование и дополнительные средства управления потоками воздуха), системы гарантированного и бесперебойного электропитания, системы защиты от пожаров и других физических воздействий (видеонаблюдение, сигнализация, физическая защита). Все подсистемы согласуются между собой и обеспечивают гарантированное сохранение дорогостоящего серверного оборудования в работоспособном состоянии.

CNews: Какие проекты были реализованы Вашей компанией?

Александр Ласый: У нас довольно большой опыт создания инженерных систем ЦОД. Среди наших проектов вычислительные центры ряда территориальных отделений СБ России, инженерные системы ЦОДа Банка Москвы, комплекс инженерных систем, который включает систему кондиционирования и систему энергоснабжения серверной комнаты крупнейшего кластера для российской промышленности в НПО “Сатурн”. Для резервного центра обработки данных Альфа-Банка наши специалисты создали полный комплекс промышленных систем жизнеобеспечения. КРОК выполнил весь комплекс работ по проектированию и построению резервного ЦОД: от обследования бизнес-процессов Альфа-Банка до обеспечения их резервирования на удаленной площадке. Для обеспечения непрерывной работы резервного ЦОД были реализованы системы промышленного кондиционирования, бесперебойного и гарантированного питания, пожарной безопасности, контроля и управления доступом, мониторинга климатических параметров.

Александр Переведенцев: Отношение многих заказчиков к инженерным системам формируется по остаточному принципу

На вопросы CNews ответил Александр Переведенцев, менеджер департамента инженерных систем компании “ТехноСерв А/С“.

CNews: Согласны ли Вы с тем, что при организации ЦОДа “инженерной составляющей” отводится минимальное количество времени и бюджетных средств? Если да, то почему так происходит?

Александр Переведенцев: К сожалению, отношение многих заказчиков к инженерным системам формируется по остаточному принципу. Причин здесь несколько. Во-первых, большинство крупных компаний не располагают специалистами в области инженерных систем, а решения о строительстве нового или модернизации имеющегося ЦОДа зачастую принимаются на основе данных, предоставленных ИТ-отделом. В итоге достаточно профессионально прорабатывается техническое задание в части активного оборудования, а инженерным системам отводится минимум внимания, да и бюджетных средств. Во-вторых, некоторые системные интеграторы, предлагающие услуги по построению ЦОДов, не позиционируют дата-центр как комплексное законченное решение. Соответственно, заказчику трудно увидеть полную картину будущего ЦОДа и оценить “удельный вес” различных его систем. И, наконец, ЦОД – это основа современной информационной системы предприятия, “сердцем” которой являются вычислительные платформы, занимающую львиную долю в бюджете будущего комплекса. Но точная бесперебойная работа этого “сердца” возможна лишь при наличии надежной инженерной инфраструктуры.

CNews: Какой процент от общих расходов на разработку ЦОДа составляют затраты на инженерные системы?

Александр Переведенцев: Стоимость инженерных систем ЦОД выросла за последние несколько лет с 10% от стоимости всего комплекса до 30%, а иногда достигает 50%. Приблизительно такое же соотношение имеет и мощность электропотребления от 30% до 60%

CNews: Нужны ли типовые решения в реализации инженерных систем ЦОДа? Есть ли они у вашей компании?

Александр Переведенцев: Да, безусловно, нужны. Необходимость в снижении затрат, сроков проектирования, изготовления и монтажа, стимулирует ИТ-компании принимать решения по формированию готовых, типовых решений, для возможности последующего тиражирования.

Типовые решения, предлагаемые “Техносерв А/С”, основаны на применении серийного оборудования, выпускаемого фирмами – лидерами мировых технологий. Типовые решения “Техносерв А/С” легко адаптируются на этапе внедрения к условиям и потребностям конкретного объекта.

Источник: http://corp.cnews.ru/reviews/articles/index.shtml?2008/09/26/320028 фальшпол для ЦОД