Настольная книга эксплуататора. Всё, что вы хотели знать о повседневной жизни датацентров, но боялись спросить - Алексей Жумыкин

взаимодействовать. Отдел продаж поймет, когда и сколько стойко-мест еще доступно, и сможет сформулировать новые потребности. Это даст возможность отделу строительства определить срочность и гибкость работ по введению новых площадей на основании планов продаж. Отдел эксплуатации на основании имеющихся площадей и загрузки сможет заблаговременно получить и подготовить необходимые ресурсы.

Чтобы построить такой же баланс по электрической мощности, прежде всего необходимо понять, сколько на самом деле потребляет сервер или стойка, в зависимости от того, что является минимальным квантом. Допустим, что над стойками проложен трехфазный шинопровод, на котором установлены отводные блоки с автоматами на 32 А. Это дает нам 22 кВт мощности на стойку, если все фазы сбалансированы. Если стойка высотой в 52 юнита, то на каждый из них получается около 424 Вт.

Самый простой способ определить потребление сервера – посмотреть спецификации от производителя. В большинстве случаев этого уже достаточно. Более точным способом является создание простых, аналогичных реальным задачам сервера синтетических программных тестов, нагружающих процессор, модули памяти и диски. Затем эти тесты запускаются на сервере и производится лабораторный замер потребляемой мощности. Так как в большинстве серверов есть собственные вентиляторы, то необходимо сделать замеры тока (мощности) во всех температурных режимах и, как минимум, на специфицированных производителем границах, так как это может существенно влиять на общее энергопотребление сервера.

Есть еще один способ, более выгодный экономически, но несущий в себе дополнительные риски. Он заключается в том, что за конкретным типом стойки или сервера устанавливается пристальное наблюдение и его энергопотребление постоянно фиксируется. Затем мы фиксируем пиковое значение энергопотребления, скажем за месяц или за полугодие, и принимаем его за максимальное потребление сервера в реальных условиях. Понятно, что сервер может полгода находиться в режиме stand-by, а затем внезапно включиться в режиме высокой загрузки ЦПУ, тем самым превысив статистический максимум. Поэтому принятие решения о применении такого способа расчета должно быть несколько раз обдумано и, по возможности, согласовано с заказчиком. Такой расчет крайне не рекомендуется в гомогенной среде, где, например, весь машинный зал заполнен одинаковыми серверами одного заказчика.

В коммерческих датацентрах, конечно, никаких измерений можно не делать, а просто определить все резервы стойки на заказчика, подразумевая под этим, что когда-нибудь его оборудование сможет выйти на пиковую мощность. Это будет самым простым, но самым неэффективным решением. С одной стороны, если заказчик оплачивает такое резервирование, то почему бы и нет? С другой, если заказчик сам понимает, что он перестраховывается, то можно договориться с ним о взаимовыгодных условиях переподписки на мощность, когда, например, он платит за базовую мощность ниже максимальной, а в случае пиковой нагрузки может получать и большее количество энергии, но только при ее наличии, то есть без гарантии.

Для датацентров с устаревшим классическим охлаждением количество требуемого ресурса по охлаждению можно определить, приняв его равным энергопотреблению серверов. Но снова это решение больше не про эффективность, а про простоту.

Более грамотный подход состоит в том, чтобы понять, какой расход воздуха нужен серверу в момент его пиковой нагрузки. Измерить это можно в условиях лаборатории с использованием специальных приборов во время описанного выше тестирования на энергопотребление. Такие измерения имеет смысл сделать во всем температурном диапазоне, получив массив данных по расходу воздуха при различной его температуре и при различной загрузке процессора. Результаты измерений имеет смысл сохранить: они могут понадобиться в дальнейшем. Подобные тесты следует проводить регулярно, скажем раз в два-три года, для контроля деградации характеристик серверного оборудования.

Теперь мы знаем, какое количество ресурсов у нас есть и какую часть из них мы можем потребить текущим количеством стоек. Попробуем собрать это все в единый график и посмотреть, какую информацию мы можем получить и как понять, когда у нас нормальная работа всего датацентра в целом, а когда – нет.

На таком графике имеет смысл выделить следующие линии:

Максимальное значение ресурса показывает, сколько всего мощностей доступно для данного объекта. В качестве объекта может выступать отдельная стойка, машзал, здание или весь датацентр в целом. На данном графике эта линия представлена красным цветом.

Значение ресурса с резервированием. Линия оранжевого цвета показывает, сколько у нас есть электричества, обеспечивающего проектный уровень резервирования. В этом месте стоит упомянуть о двусмысленности термина «резерв», что часто приводит к путанице в обсуждении. Нужно четко понимать, что выключение всех резервных единиц инженерного оборудования фактически превратит эту линию в «максимальное значение ресурса». Таким образом, линию можно равноценно назвать как работой с резервированием, так и работой без резервирования – смотря с какой стороны подойти. Чтобы избежать этой двусмысленности, лучше назвать эту линию целевой, так как приближение к ней показывает наиболее эффективное использование ресурсов при сохранении требуемой надежности. Или использовать английский термин warning, так как пересечение этой линии не сразу сказывается на работе IT-оборудования, но повышает риск при любом отказе инженерии.

Аллоцированное значение ресурса – это расчетная величина, показывающая, сколько стойка может потребить в пике. Другими словами, сколько стойка «имеет право» потребить, хотя совершенно не факт, что она сможет приблизиться к этому значению. Именно это значение должно учитываться для понимания загрузки мощностей. На нашем графике эта линия обозначена зеленым цветом.

Реальное потребление ресурса – это текущее значение, получаемое из системы мониторинга постоянно или в регулярные промежутки времени. С помощью этого показателя можно сразу оценить эффективность использования ресурсов нашего датацентра и его устойчивость в данный момент. Наблюдение за этим показателем желательно добавить и дежурной смене.

Если мы рассматриваем данные текущего года, то слева от сегодняшней даты реальное потребление ресурса будет отображаться, показывая фактические данные в прошлом, а справа таких данных не будет, так как потребление в будущие периоды нам пока неизвестно.

Теперь пора понять, как определить уровень резервирования (или целевую линию). Для примера вернемся к уже рассмотренной схеме распределения электроэнергии.

Как мы описали выше, максимальный ток для расчета допустимой мощности определяется током через сборку ИБП и составляет 1800 А или примерно 1,25 МВт. На графике это значение будет обозначено красной линией. В случае если мы захотим вывести из эксплуатации один блок сборки ИБП для ремонта или технического обслуживания, то мы будем способны поддерживать ток в 1200 А или примерно 830 кВт – это и будет оранжевая линия на графике.

Но не все датацентры строятся по такой философии. Если по условиям работы допустимо, чтобы какую-то часть времени серверное оборудование отключалось для ремонта обслуживания, то существенное занижение доступной мощности за счет резервирования одной единицы оборудования неэффективно. В этом случае нам необходимо просто определить, какую величину максимальной мощности мы готовы пожертвовать про запас. Для этого следует разобраться в том, что может быть причиной необходимости такого запаса. Приведем несколько примеров.

1. Погрешность установки автоматов.

2. Погрешность расчета или определения максимальной потребляемой мощности сервера, что особенно актуально при статистическом методе.

3. По сути, та же погрешность, но вызванная незапланированным ростом вычислительной нагрузки, например при переносе вычислений с одной площадки на другую.

Достаточная величина такого резервирования может находиться уже в пределах 95 % от максимального значения, что гораздо лучше, чем 33 %, определенные по предыдущему методу.

Кстати, из сравнения этих графиков видно, что при выборе варианта работы по резервированию к концу рассматриваемого периода аллокация превышает возможности датацентра по обеспечению надежной работы (целевое значение), а для площадки с допустимыми отключениями даже остается ресурс для дополнительной установки IT-оборудования.

Описанный выше способ определения целевого значения, учитывающий резервное оборудование, применим и к системе охлаждения. Единственное, уместно добавить, что производительность системы охлаждения может меняться в зависимости от сезона, например переходом с фрикулинга на работу на чиллерах. Такое изменение может влиять на максимальное и целевое значения и давать дополнительную гибкость, например для кратковременного сезонного повышения доступной емкости площадки, что