5.3.2Муниципальные ЦОД 5.3.2.1Вычислительная инфраструктура МЦОД
Конфигурация и состав компонентов муниципальных ЦОД должны формироваться исходя из прогнозируемой нагрузки, на основании данных о количестве рабочих мест пользователей подключенных к ним учреждений здравоохранения (см. Приложение 2).
Компоненты серверной инфраструктуры муниципальных ЦОД целесообразно развертывать c использованием технологий виртуализации. В качестве гипервизора целесообразно применить программное обеспечение VMware ESXi v.4.1. Основанием использования данного ПО является:
построение муниципальных ЦОД с применением технологий, аналогичных применяемым в РЦОД, т.е. унификация используемого ПО;
VMware ESXi не требует дополнительного лицензирования;
версии 4.Х данного ПО, в отличии от версии 5.Х, не накладывает ограничений на оперативную память.
В виде виртуальных серверов в муниципальных ЦОД будут развернуты:
Основной и резервный контроллеры домена;
Серверы БД, объединенные в отказоустойчивый кластер;
Серверы приложений, объединенные в кластер балансировки сетевой нагрузки;
Терминальные серверы, объединенные в кластер балансировки сетевой нагрузки;
Технологические серверы (управление резервным копированием, почтовый сервер, службы обновления ПО и т.п.), объединенные в отказоустойчивый кластер;
Файловые серверы, объединенные в отказоустойчивый кластер;
Другие серверы, по мере необходимости.
Независимые дисковые массивы муниципальных ЦОД будут подключаться по технологии SAN, в общем случае они будут содержать следующие разделы:
Раздел для хранения файлов БД;
Раздел для хранения образов виртуальных машин;
Раздел для файлового сервера;
Раздел для обеспечения работы отказоустойчивого кластера (Quorum).
Ниже представлены особенности развертывания различных типов муниципальных ЦОД.
5.3.2.1.1Вычислительная инфраструктура муниципального ЦОД г. Воркута (МЦОД-В)
На Рис. 8 приведена структурная схема МЦОД, который будет развернут в г. Воркута.
Рис. 8. Структурная схема МЦОД в г. Воркута
Физические серверы СВ3 и СВ4 по большей части должны обслуживать терминальных клиентов.
Распределение виртуальных серверов по физическим серверам на схеме представлено предварительно. Реальное распределение должно быть определено по результатам мониторинга нагрузки после ввода РИАМС в промышленную эксплуатацию.
Предварительный состав и характеристики оборудования для развертывания МЦОД в г. Воркута приведены ниже (Таблица 11).
Таблица 11. Предварительный состав и характеристики оборудования МЦОД г. Воркута
Наименование оборудования
|
Характеристики оборудования
|
Кол-во
|
Сервер виртуализации
|
CPU 2x6 Core
RAM 96 Gb
HDD: 2x146 Gb
|
4
|
Оптический коммутатор
|
Не менее 16 портов
|
2
|
Дисковый массив
|
Не менее 2-х контроллеров FC 4Gb/s
HDD: 12x300 Gb
|
1
|
Ленточная библиотека
|
Не менее 24 слотов
Не менее 12 картриджей 800 Gb
|
1
| 5.3.2.1.2Вычислительная инфраструктура муниципального ЦОД г.г. Ухта и Печора (МЦОД-УП)
На Рис. 9 приведена структурная схема МЦОД, которые будут развернуты в гг. Ухта и Печора.
Рис. 9. Структурная схема МЦОД в гг. Ухта и Печора
Распределение виртуальных серверов по физическим серверам на схеме представлено предварительно. Реальное распределение должно быть определено по результатам мониторинга нагрузки после ввода РИАМС в промышленную эксплуатацию.
Предварительный состав и характеристики оборудования для развертывания МЦОД в гг. Ухта и Печора приведены ниже (Таблица 12).
Таблица 12. Предварительный состав и характеристики оборудования МЦОД в гг. Ухта и Печора
Наименование оборудования
|
Характеристики оборудования
|
Кол-во
|
Сервер виртуализации
|
CPU 2x6 Core
RAM 96 Gb
HDD: 2x146 Gb
|
3
|
Оптический коммутатор
|
Не менее 16 портов
|
2
|
Дисковый массив
|
Не менее 2-х контроллеров FC 4Gb/s
HDD: 12x300 Gb
|
1
|
Ленточная библиотека
|
Не менее 24 слотов
Не менее 12 картриджей 800 Gb
|
1
| 5.3.2.1.3Вычислительная инфраструктура муниципального ЦОД в г. Инта (МЦОД-И)
На Рис. 10 приведена структурная схема МЦОД, который будет развернут в г. Инта.
Рис. 10. Структурная схема МЦОД в г. Инта
Предварительный состав и характеристики оборудования для развертывания МЦОД в г. Инта приведены ниже (Таблица 13).
Таблица 13. Предварительный состав и характеристики оборудования МЦОД в г. Инта
Наименование оборудования
|
Характеристики оборудования
|
Кол-во
|
Сервер виртуализации
|
CPU 2x6 Core
RAM 96 Gb
HDD: 2x146 Gb
|
2
|
Оптический коммутатор
|
Не менее 8 портов
|
2
|
Дисковый массив
|
Не менее 2-х контроллеров FC 4Gb/s
HDD: 12x300 Gb
|
1
|
Ленточная библиотека
|
Не менее 24 слотов
Не менее 12 картриджей 800 Gb
|
1
| 5.3.2.1.4Вычислительная инфраструктура муниципального ЦОД в г. Усинск (МЦОД-У)
На Рис. 11 приведена структурная схема МЦОД, который будет развернут в г. Усинск.
Рис. 11. Структурная схема МЦОД в г. Усинск
Предварительный состав и характеристики оборудования для развертывания МЦОД в г. Усинск приведены ниже (Таблица 14).
Таблица 14. Предварительный состав и характеристики оборудования МЦОД в г. Усинск
Наименование оборудования
|
Характеристики оборудования
|
Кол-во
|
Сервер виртуализации
|
CPU 2x4 Core
RAM 64 Gb
HDD: 2x146 Gb
|
2
|
Дисковый массив
|
Не менее 1-го контроллера SAS 3Gb/s
HDD: 12x300 Gb
|
1
|
Стример
|
Не менее 120MB/s, 800 Gb с поддержкой SAS V2
|
2
| 5.3.2.2Инженерные системы МЦОД
Помещение серверной должно иметь отдельный вход и не должно быть проходным. Объем помещения должен быть очищен от элементов всех инженерных коммуникаций. В помещениях, предназначенных для устройства серверной, не допускается прокладка транзитных коммуникаций, не относящихся к обслуживанию серверной (систем центрального отопления, кондиционирования воздуха, хозяйственно-питьевого и противопожарного водопровода, горячего водоснабжения, канализации, внутренних водостоков, пылеудаления, электропитания, сигнализации и др.). В случае наличия перечисленных систем и/или коммуникаций, они должны быть полностью демонтированы. Все не имеющие отношения к устройству серверной отверстия должны быть заделаны цементным раствором.
По основанию помещения устроить выравнивающую бетонную стяжку. По бетонной стяжке должна быть устроена гидроизоляция. Максимально возможный допуск по погрешности неровности пола ±1 мм/1 м. Поверхность пола должна быть покрыта специальным средством, предотвращающим скопление пыли. Поверхности стен и потолка должны быть покрыты специальным средством, предотвращающим скопление пыли.
Звукопоглощающая облицовка стен и потолка помещения серверной и вспомогательных помещений должна быть из несгораемых или трудно сгораемых материалов. Стальные несущие и ограждающие конструкции помещения серверной должны быть защищены огнезащитными материалами или красками, обеспечивающими предел их огнестойкости не менее 0,5 ч. На внутренних поверхностях конструкции наружных ограждений помещения не допускается выпадение конденсата в холодный период года.
Вход в помещение серверной должен быть выполнен через дверь, которая открывается обязательно наружу с углом открытия 180°. Дверь должна быть двухстворчатой и иметь размеры не менее 2,2 х 1,6 м. Окна помещения должны быть заложены кирпичной кладкой.
Помещение серверной должно быть оборудовано фальшполом. Высота фальшпола должна позволять беспрепятственно прокладывать инженерные коммуникации и определяется на этапе проектирования, при этом высота должна быть не менее 250 мм. Конструкция съемного фальшпола должна быть рассчитана на минимальную равномерно распределенную нормативную нагрузку 1000 кг/м2 и минимальную сосредоточенную нормативную нагрузку 250 кг, приложенную в любом месте плиты на площади 25см2. Прогиб плиты не должен превышать 1 мм. Плиты съемного фальшпола в собранном состоянии должны плотно прилегать друг к другу, обеспечивая герметичность в стыках. Плиты съемного фальшпола должны быть трудносгораемыми, с пределом огнестойкости не менее 0,5 ч, или несгораемыми. Покрытие плит пола должно быть гладким, прочным, антистатическим с сопротивлением 106 Ом, обеспечивающим стекание и отвод статического электричества, позволяющим выполнять уборку пола пылесосом или влажную уборку. Конструкция плит должна обеспечивать стекание и отвод электростатического электричества. Опоры и стойки съемных фальшполов должны быть несгораемыми. Против дверных проемов помещения серверной предусмотреть пандус с уклоном и конфигурацией, обеспечивающими безопасный ввоз и вывоз оборудования.
Освещенность помещения серверной, измеренная на расстоянии 0,8 метра от пола, должна составлять не менее 300 люкс. Допускается в качестве рабочих светильников использовать существующие в помещении светильники. Аварийные светильники должны обеспечивать уровень освещенности не менее 5% от уровня общего освещения. Управление освещением должно быть местным.
Система кабельных каналов предназначена для укладки слаботочной и силовой проводки внутри помещения серверной. Система кабельных каналов должна состоять из:
металлических оцинкованных лотков;
декоративных коробов;
гибких ПВХ труб;
закладных элементов для межкомнатных перегородок;
устройств вывода кабелей из пространства фальшпола и потолка.
Система кабельных каналов в помещении должна располагаться преимущественно в пространстве фальшпола. Система кабельных каналов должна быть раздельной для слаботочной и силовой кабельной проводки и иметь не менее 25 % запаса на расширение. Система каналов кабельных коммуникаций должна обеспечивать:
недоступность непосредственного (без вскрытия закладных и кабельных каналов) доступа к кабелям;
надежную защиту кабелей от внешних воздействий;
возможность прокладки по разным трассам основных и резервных кабелей;
соответствие требованиям пожарной безопасности.
Система бесперебойного электропитания должна обеспечить выполнение следующих функций:
обеспечение электропитания центрального (основного) оборудования при отсутствии внешнего питания;
защиту активного оборудования от импульсных помех внешней электросети;
поддержку питания в пределах номинальных значений;
вносимый в питающую сеть коэффициент нелинейных искажений (КНИ) не более 5 %.
Система бесперебойного электропитания должна быть спроектирована с резервированием по схеме N+1 и содержать в своем составе цепь обходного режима для проведения профилактических и сервисных работ с системой бесперебойного питания без выключения нагрузки. Источник бесперебойного электропитания должен быть модульного типа и удовлетворять следующим требованиям:
возможность масштабирования по мощности;
входное и выходное напряжение – 400 В 3PH;
искажения формы выходного напряжения менее 2 %;
наличие встроенного аварийного байпаса;
диапазон входного напряжения при работе от сети 340 – 477 В;
наличие алфавитно-цифрового дисплея для отображения системных параметров и тревожных уведомлений;
наличие самодиагностики батарей.
Система бесперебойного электропитания должна предусматривать замену силовых или батарейных элементов без отключения системы от питающей сети. Каждый шкаф с установленным оборудованием должен быть обеспечен как минимум 2 (двумя) распределителями электропитания. Единица основного технологического оборудования c 2 (двумя) вводами питания подключается к различным взаимно резервирующим распределителям. Подсистема распределения питания должна быть гибкой, позволять обеспечивать электропитанием вновь поставляемое или перемещаемое оборудование вычислительной системы. Подсистема распределения питания должна обеспечить:
достаточную безопасность пользователя с помощью изоляции всех возможных точек касания и использованию фиксаторов для предотвращения случайного отключения;
измерение и мониторинг мощности потребления на уровне ответвления распределительной сети без дополнительных затрат;
доступ к информации о состоянии и рабочих характеристиках модуля распределения питания.
Необходимо использовать малодымные кабели с медными жилами в двойной изоляции, не поддерживающей горение (ВВГнг-LS). Кабельную проводку групповых линий выполнить пятижильным кабелем для 3-х фазных цепей и трехжильным кабелем для однофазных цепей.
Система гарантированного электроснабжения создается на основе оборудования автоматического ввода резерва (АВР), обеспечивающее:
переключение с основного на резервный ввод от главного распределительного щита (ГРЩ) при исчезновении напряжения на основном вводе;
обратное переключение при восстановлении напряжения на основном вводе;
при наличии технической возможности обеспечить электроснабжение технических средств в случае отключения основных питающих вводов здания от существующего автономного источника питания.
Предусмотреть механические блокировки, исключающие одновременное включение двух вводов от ГРЩ. Кроме механических блокировок следует предусмотреть и соответствующие электрические блокировки. В схеме АВР должны быть предусмотрены регулируемые задержки:
на переключение с основного ввода на резервный (до 120 сек);
на обратное переключение при восстановлении напряжения на основном вводе от ГРЩ (до 600 сек).
В щите АВР предусмотреть возможность мониторинга:
положения всех выключателей;
сигнализация состояния выключателей;
сигнализация аварийного отключения выключателей (один общий сигнал на шкаф или панель);
сигнализация работы АВР и схемы возврата АВР.
В помещении серверной необходимо обеспечить наличие систем защитного и телекоммуникационного заземлений. Защитное заземление служит для защиты обслуживающего персонала от поражения электрическим током и должно быть выполнено в соответствии с требованиями ПУЭ. Защитному заземлению подлежат все металлические конструкции серверного помещения. Защитное заземление через ГРЩ должно подключаться к главной шине заземления (ГШЗ) здания. В случае отсутствия или ненадлежащего качества, шина заземления организуется внутри помещения. Тип, сечение контура определяется на этапе проектирования.
Телекоммуникационное заземление служит для обеспечения электромагнитной совместимости (ЭМС) и обеспечения нормального функционирования активного сетевого и серверного оборудования. Заземляющий провод (кабель) должен прокладывается непосредственно от очага защитного заземления к шине заземления серверной. В помещении серверной система телекоммуникационного заземления должна быть отделена от системы защитного заземления. Системы защитного и телекоммуникационного заземления должны удовлетворять требованиям стандартов ГОСТ Р 50571.21-2000 «Заземляющие устройства и системы уравнивания электрических потенциалов в электроустановках, содержащих оборудование обработки информации» и ГОСТ Р 50571.10-96 «Заземляющие устройства и защитные проводники».
Система кондиционирования предназначена для обеспечения требуемых для нормального функционирования оборудования серверной климатических параметров. Система кондиционирования должна обеспечивать:
температура воздуха – 18–24оС при измерении на высоте 1,5 м от уровня пола с точностью управления температурой 0,1°С;
влажность воздуха – 30 до 55 % без конденсации влаги при измерении на той же высоте;
непрерывность работы 24 часа в сутки, 365 дней в году;
срок службы не менее 10 лет.
Система должна обеспечивать 100 % резервирование по мощности, т.е. в случае остановки основного кондиционера резервный должен включаться автоматически, полностью обеспечивая необходимые условия по поддержанию заданных температуры, влажности и чистоты воздуха. Основной и резервный кондиционеры должны быть снабжены функцией самодиагностики, обеспечивающей выявление следующих неисправностей:
неисправности компрессора (перегрев, перегрузка по току);
превышение давления;
неисправности теплообменников;
неисправности мотора вентилятора;
загрязнение фильтра;
неисправности датчиков температуры и давления;
неисправности привода воздухораспределительных жалюзи;
ошибка межблочных связей;
перефазировка электропитания.
Все виды неисправностей должны выводиться на контроллер в виде сигнала «Авария». Запорная арматура должна быть установлена во всех местах, где предполагается гидравлическое отключение компонентов системы от сети. При этом отключение одного из элементов не должно быть причиной прекращения общей циркуляции в системе.
Кондиционеры должны быть прецизионного типа. Кондиционеры должны быть рассчитаны на подключение к трехфазной электрической сети здания напряжением переменного тока 380/220 В, частотой 50 Гц по пятипроводной схеме. Холодильные машины должны быть подключены к системе гарантированного электроснабжения. Питание циркуляционных насосов и вентиляторов фанкойлов, а также контроллеров системы управления, производить от источника бесперебойного питания.
Места размещения холодильных машин и точки подключения к канализации здания определяются на этапе проектирования. Прокладка трубопроводов должна предусматриваться в основном скрытая в существующих фальшполах и подвесных потолках, а при их отсутствии − в кабель-каналах (кабелегонах).
Внутренние блоки кондиционеров должны быть установлены с возможностью равномерной раздачи охлажденного воздуха в пространство серверной. Все оборудование системы охлаждения должно быть заземленным.
Помещение серверной должно быть оборудовано автоматической установкой газового пожаротушения (АУГПТ). Автоматическая установка газового пожаротушения предназначена для раннего обнаружения пожара и его автоматического тушения. Способ пожаротушения – объемный, путем заполнения защищаемого помещения парами огнетушащего вещества до создания огнетушащей концентрации. При выборе газового огнетушащего вещества (ГОТВ) для АУГПТ следует руководствоваться требованиями безопасности огнетушащего газа для персонала и технологического оборудования. Расчетное количество (масса) ГОТВ в установке должно быть достаточным для обеспечения его нормативной огнетушащей концентрации в любом защищаемом помещении или группе помещений, защищаемых одновременно.
Запас ГОТВ должен быть предусмотрен в объеме, достаточном для восстановления работоспособности установки, сработавшей в любом из защищаемых помещений. Модули с запасом ГОТВ должны храниться на складе объекта.
АУГПТ должна обеспечивать:
тушение пожара с целью его ликвидации;
непрерывный контроль процесса возможного возгорания;
задержку подачи огнетушащего вещества в защищаемый объем на время, необходимое для эвакуации людей, но не менее чем на 30 с;
время срабатывания (без учета времени задержки выпуска газового огнетушащего состава (ГОС), необходимого для эвакуации людей) не более 10 с;
концентрацию ГОС в объеме защищаемого помещения, не ниже нормативной.
Включение установок АУГПТ должно осуществляться автоматически от извещателей, реагирующих на появление дыма. В подпольных пространствах помещения, в зависимости от технологических и конструктивных особенностей, допускается применение извещателей, реагирующих на повышение температуры.
Пульт дистанционного пуска (ПДП) установить снаружи у входной двери каждого защищаемого помещения. Для исключения несанкционированного запуска проектируемых систем, ПДП установить в закрываемый и опечатываемый бокс с прозрачной дверцей.
Предусмотреть передачу сигналов о пожаре и техническом состоянии установок газового пожаротушения на диспетчерский пульт (ДП) с круглосуточным пребыванием дежурного персонала.
АУГПТ должна работать в автоматическом режиме. Запуск системы пожаротушения должен осуществляться по срабатыванию двух автоматических пожарных извещателей, установленных в защищаемом помещении. В помещении должна включиться сирена и световое табло «ГАЗ УХОДИ». Через время задержки, при закрытой двери перед помещением, загорается табло «ГАЗ НЕ ВХОДИ» и производится пуск газа. Должен, по сигнализатору давления, производится контроль выхода газа. Если газ не пошел, должна производиться повторная попытка запуска. Если и она неудачна, табло «ГАЗ НЕ ВХОДИ» не загорается, а на ДП загорается аварийный сигнал.
Помещение серверной необходимо укомплектовать средствами индивидуальной защиты органов дыхания изолирующего типа, используемых при срабатывании АУГПТ. Необходимо обеспечить при срабатывании системы АУГПТ закрытие клапанов приточной вентиляции и отключение систем вентиляции и кондиционирования. Необходимо предусмотреть наличие в помещении системы дымо- и газоудаления, которая должна быть автономной и выполненной в оконном проеме.
Все оборудование системы газового пожаротушения должно быть сертифицировано.
Структурированная кабельная система должна быть выполнена в соответствии с международным стандартом ISO/IEC 11801:2002 на кабельные системы и должна состоять из следующих подсистем:
горизонтальной подсистемы;
подсистемы внутренних магистралей;
подсистемы внешних магистралей.
Горизонтальная подсистема должна быть организована на основе 4-парного медного кабеля экранированная витая пара категории не ниже 6. Информационные розетки, устанавливаемые на рабочих местах СКС, должны содержать два экранированных модульных разъема категории 6. В качестве коммутационного оборудования для медных кабелей горизонтальной подсистемы должны быть использованы 19-дюймовые 24-портовые коммутационные панели с разъемами категории 6.
Подсистемы внутренних и внешних магистралей должны быть организованы на основе многомодового оптоволоконного кабеля с диаметром сердечника оптоволокна 50 мкм и 4-парного медного кабеля экранированная витая пара категории 6а (в качестве резервного физического канала). Физическая топология подсистемы внутренних магистралей – звезда, с центром в серверном помещении. Оболочка волоконно-оптического кабеля должна быть типа LS0H с защитой от грызунов. В качестве коммутационного оборудования для оптоволоконных кабелей должны использоваться оптические распределительные полки с разъемами типа «SC», устанавливаемые в 19” монтажные шкафы. Для коммутации волоконно-оптических линий должны применяться двухволоконные оптические коммутационными шнуры с разъемами типа «LC-SC». Подсистема внутренних магистралей должна содержать межшкафные соединения в серверном помещении.
5.3.2.3Рабочие места операторов и администраторов МЦОД РИАМС
Требования к рабочим местам операторов и администраторов МЦОД РИАМС аналогичны требованиям, изложенным в разделе 5.3.1.4 настоящего документа.
|
