Настольная книга эксплуататора. Всё, что вы хотели знать о повседневной жизни датацентров, но боялись спросить - Алексей Жумыкин

При наличии постоянной серверной нагрузки рано или поздно достигается сравнительно стабильное состояние, при котором датацентр можно считать надежно работающим. Самое главное – не забыть записать на бумажке, какая стойка от чего запитана, и передавать это знание из поколения в поколение дежурных, сверяясь с этой записью перед важными отключениями.

После того как с лимитами по электричеству разобрались, наступает очередь самого мистического и загадочного фактора – воздуха, а точнее охлаждения. В подавляющем большинстве случаев инженеры датацентра не знают принципов работы системы охлаждения на их площадке. Если они отчетливо понимают, что она работает в данный момент, – это уже большое достижение. Но любое изменение, при котором система выходит за пределы нормальной работы, открывает огромное поле для знаменитых танцев с бубнами.

Большинство проблем решаются эмпирически: подкладыванием фанерок для изменения потоков воздуха, установкой переносных кондиционеров, заклеиванием или переносом датчиков температуры, открытием настежь дверей серверных и т. д. То есть борьба ведется с последствиями локальных перегревов, а не с их причиной. Моим любимым примером остается случай, когда дежурный инженер, чтобы избавиться от назойливого сигнала, предупреждающего о повышенной температуре в горячем коридоре, просто отвел датчик от струи воздуха. Датчик немедленно «позеленел», и дежурный удовлетворенно вернулся на свое место.

Самым авторитетным специалистом по эксплуатации становится инженер, который ликвидировал больше других аварий. Он «видел все» и точно знает, в каком случае какую заплатку нужно применить. К сожалению, такой метод плохо работает на будущее, то есть практически невозможно рассчитать ограничение, при котором наступит авария. Единственным действенным способом борьбы с критическим перегревом является заметное переразмеривание системы, то есть установка избыточного количества оборудования про запас, что позволяет тем или иным способом направлять излишек холода на критичный участок. Надо признать, что такой подход весьма далек от оптимального, так как большую часть времени запасное оборудование не будет использоваться.

Итак, какую же задачу мы хотим решить, когда говорим об управлении мощностями?

На самом деле, довольно простую: нам нужно разобраться, каким количеством ресурсов мы на самом деле обладаем, сколько из этого количества используется на данный момент, сколько зарезервировано и, соответственно, сколько ресурсов остались свободными.

В дальнейшем изложении я упущу из рассмотрения сетевые подключения. Как правило, анализ доступности канала для ДЦ выполняется отдельным подразделением, а распределением между стоек ведает сам заказчик. В любом случае проблемы нехватки сетевого канала никогда не решаются службой эксплуатации. Однако, принцип анализа, сформулированный в предыдущем абзаце, полностью применим и к сетевым подключениям, поэтому подход к планированию и контролю останется точно таким же.

Для того чтобы решить задачу планирования мощностей обдуманно и основательно, нужно выделить следующие важные шаги.

1. Определить ограничивающие факторы.

2. Выяснить причины ограничений и определить максимально доступные значения каждого фактора.

3. Выяснить реальные значения потреблений.

4. Разработать схемы нормальной работы всего датацентра в целом.

5. Установить пристальное наблюдение.

6. Договориться о частоте и глубине пересмотра выбранных значений и планов.

7. Разработать план действий для каждой нестандартной ситуации.

Ограничивающие факторы для большинства датацентров будут одними и теми же. Прежде всего это уже упомянутые количество доступных стойко-мест, доступная электрическая мощность, доступное количество холода. Именно эти факторы и рассмотрим ниже. Далее для каждого датацентра может быть и что-то специфическое. Например, допустимая нагрузка на перекрытия или количество доступных сетевых портов.

Для того чтобы выяснить причины ограничений, внимательно рассмотрим каждый из факторов.

Количество стойко-мест может быть самым простым для анализа, однако не стоит забывать об особенностях каждой стойки. Стойки могут быть шириной 80 или 60 см, и поэтому на одной и той же площади можно поставить как 30, так и 40 стоек (и даже любое промежуточное число). Для такого случая нужно делать расчет доступной площади в узких, 60-сантиметровых стойках, а одну широкую считать как 1⅓ от базовой. Такая абстракция дает хорошее приближение, единственное, стоит помнить о наличии соответствующего количества блоков на шинопроводе.

Для определения ограничений по электрической мощности необходимо будет рассмотреть однолинейную схему и понять совокупность всех ее ограничений. Например, рассмотрим схему, состоящую из одного трансформатора, трех ИБП, включенных по схеме N+1, распределительного щита, от которого отходит четыре шинопровода, на каждый из них можно установить 25 отводных блоков с допустимым током 32 А на каждый.

Если смотреть на схему с точки зрения отводных блоков, то кажется, что можно подключить суммарную нагрузку током 32 х 25 = 800 А, что дает нам 3200 А на серверную. Однако, посмотрев на номинал автоматов ГРЩ, мы увидим, что ток через каждый шинопровод ограничен величиной 600 А (например, потому, что мы выбрали стандартные шинопроводы номиналом в 630 А). Таким образом, мы уже уменьшаем доступный ток до 2400 А. Наш трансформатор может быть выбран с небольшим запасом и спокойно держать нагрузку только в 2000 А, так что это станет следующей итерацией ограничений. Но окончательный лимит мы узнаем, поняв, что каждый из ИБП способен держать только 600 А, что дает нам ограничение по максимально доступной мощности в 1800 А. Эта величина и будет для нас определяющим фактором при расчете допустимого электрического тока на серверную.

Ситуация с охлаждением немного сложнее и зависит от того, какую философию исповедуют проектировщики датацентра. Старая и менее эффективная схема, при которой охлаждение стоек происходит в замкнутом воздушном контуре машинного зала, может быть посчитана предельно просто. Ведь количество холода, выработанного системой охлаждения (холодопроизводительность), должно быть равно количеству тепла, выделенного стойками плюс теплопритоки в серверную через наружные стены. Таким образом, если выразить холодопроизводительность в ваттах, то можно очень просто рассчитать доступную для серверной холодопроизводительность суммированием всех единиц оборудования.

В случае более продвинутой системы охлаждения (прямого воздушного фрикулинга), когда тепло уносится из серверной поступающим снаружи воздухом, важно определить необходимую производительность (расход) вентиляционной системы, которая измеряется в кубометрах в час. Это значение также берется либо из проектных значений для вентиляторов, либо, что намного более правильно, измеряется во время пусконаладки. Для того чтобы быть уверенным в качестве используемых данных, принимая во внимание естественное старение оборудования, желательно регулярно проводить калибровку систем и соответствующим образом корректировать значения максимально доступной мощности или холодопроизводительности.

Мы ответили на вопрос «сколько есть?», давайте посмотрим, как понять «сколько нужно?». В нашем примере потребление всех перечисленных ресурсов будет определяться стойкой. Можно принять за минимальный квант и сервер, например величиной в юнит или даже в половину, но принцип анализа это не меняет.

Как отмечалось выше, стойка шириной 60 см будет занимать одно стойко-место шириной 60 см, а стойка шириной 80 см – 1⅓ такого места. Выдумывать что-либо хитрее, наверное, бессмысленно. Давайте представим выдуманный график, на котором совместим планы строительства датацентра и план его заполнения с точки зрения стойко-мест.

Видно, что в начале года у нас есть серверные помещения, способные вместить 500 стоек (красная линия на рисунке). В феврале мы увеличиваем количество фактически установленных стоек (зеленая линия) до 250, а затем до 500, таким образом достигая максимального заполнения по стойко-местам. К счастью, в апреле мы увеличиваем доступные к заполнению площади и запускаем в эксплуатацию еще 200 стойко-мест (скачок красной линии), и, несмотря на то что по ряду причин в мае количество стоек было уменьшено, мы способны продолжить заполнение зала стойками.

В августе в эксплуатацию вводится еще 300 стойко-мест (следующий скачок красной линии – теперь доступна 1000) и продолжается заполнение серверной стойками заказчиков. К концу года все доступные серверные площади датацентра заполнены на 90 %.

На таком графике можно провести воображаемую линию, например в июле, и будет очевидно, что показатели слева от этой линии будут историческими значениями, а справа – планами по заполнению.

Таким образом, этот график поможет всем отделам получить необходимую информацию и правильно