Настольная книга эксплуататора. Всё, что вы хотели знать о повседневной жизни датацентров, но боялись спросить - Алексей Жумыкин

class="p1">Из-за повышенной формализации он не может проводиться часто, поэтому иногда задачи, ставящиеся, например, на следующие полгода, становятся неактуальными и руководитель оказываются перед дилеммой. Либо решить эти задачи и получить обещанную премию, либо сосредоточиться на том, что на самом деле важно, но при этом формально условия выполнения премиальных задач соблюдены не будут.

Другим недостатком такой системы является договоренность между руководителем и сотрудником. Так, в некоторых условиях руководитель не может или не хочет определить долгосрочную цель для подчиненного, хотя система мотивации этого требует. Тогда руководитель предлагает сотруднику самому выбрать, чем бы тот хотел заниматься. Самым забавным лайфхаком, с которым мне пришлось столкнуться в подобной ситуации, была история, когда сотрудник втихаря решал какую-то задачу в прошлом периоде, а ставил ее как цель себе на следующий период. Таким образом, премия была ему уже гарантирована и он мог спокойно заниматься решением какой-нибудь другой задачи – которую можно было заявить в качестве цели в следующий раз.

Глава 20

Легенды и мифы датацентров

В этой главе я хотел бы рассказать о нескольких «проблемах», с которыми привыкли бороться строители и эксплуатационщики датацентров, но которые на самом деле проблемами не являются. Часто обсуждения этих вопросов вызывают нешуточные и эмоциональные споры, но моя задача показать, что решение может быть простым.

Поддержание температуры

Существует устойчивое мнение, что серверное оборудование должно эксплуатироваться в строго определенных границах температуры и влажности. Каждый человек, знакомый с датацентрами, хоть раз видел таблицу американского сообщества ASHRAE[37]. Но так ли она нужна на самом деле? Давайте рассмотрим формулу теплопроводности из курса термодинамики:

Qt = G × C × ΔT,

где

• Qt = Q × t – количество тепла, переносимое за единицу времени;

• G – объем воздуха;

• С – теплоемкость воздуха;

• ΔT – разница температур охлаждаемого тела и охлаждающего воздуха.

Из этой формулы видно, что можно охлаждать стойки путем регулирования разницы температур. Однако ясно, что, во-первых, диапазон изменения температур внутри сервера больше, чем диапазон изменения температуры подаваемого воздуха, поэтому для обеспечения теплообмена все равно придется изменять скорость потока. Чаще всего такими расчетами никто не утруждается и скорость вращения вентиляторов выбирается с запасом заведомо выше требуемого. Ни о какой энергоэффективности системы в таком случае речь идти не может.

Во-вторых, вентиляторы в канале охлаждения есть всегда (очевидно, что при G = 0 охлаждения не будет), а увеличение скорости их вращения будет стоить значительно меньше капитальных и операционных затрат на построение громоздкой системы охлаждения.

Также из формулы видно, что, если температура охлаждающего воздуха только ненамного ниже охлаждаемого объекта, охлаждение все еще возможно, однако потребуется значительный объем воздуха. То есть теоретически можно охлаждать процессоры, нагретые до 90 ℃ воздухом с температурой в 60–70 ℃, хотя скорость воздуха будет запредельной.

Поэтому самый правильный путь – построить систему охлаждения, при которой мы будем регулировать только скорость вращения вентиляторов. Так как нагрузкой в нашем датацентре могут выступать серверы от сторонних производителей, в которых скорость вращения вентиляторов не регулируется, достаточно будет обеспечить для них ровно тот объем воздуха, который они потребляют. Как мы обсуждали раньше, в идеальном случае нужно провести лабораторные испытания каждого сервера или стойки в сборе, но практически можно справиться и более простым способом.

Давайте разберем структурную схему такой системы охлаждения поподробнее.

На рисунке видно, что входящий воздух проходит через приточный клапан К1 и фильтровальную стену Ф, поступает на приточные вентиляторы П, проходит через серверную стойку, где нагревается, и либо поступает сразу на вытяжные клапаны К2 и вентиляторы В в теплое время года, либо через рециркуляционные клапаны Р смешивается с приточным холодным воздухом для поддержания комфортной температуры.

Для того чтобы серверы в стойке могли работать на полную мощность, необходимо убедиться, что к передней дверце стойки поступает достаточное для охлаждения количество воздуха. Для этого можно измерить разницу давлений между холодным и горячим коридором (Р1) и поддерживать ее на постоянном уровне, меняя скорость приточных вентиляторов. Таким образом, чем больше будет потребление стойки, тем сильнее будут раскручиваться вентиляторы серверов и, соответственно, сильнее будут раскручиваться вентиляторы приточных установок. Также будет работать система и при росте температуры уличного воздуха.

В принципе, воздух из горячего коридора может удаляться и самотеком через выпускные клапаны (К2), однако при большом количестве стоек объем горячего воздуха может создавать высокое давление в горячем коридоре. Поэтому разумно установить вытяжные вентиляторы, работающие на уменьшение разности давления P2 между горячим коридором и улицей.

Какую температуру можно выбрать в качестве комфортной? Со стороны низких температур следует свериться со спецификациями компонентов серверов. Как правило, современные компоненты серверного оборудования могут работать при температурах чуть выше нуля без существенного сокращения срока службы, поэтому можно было бы «захолаживать» зал сильнее – это было бы экономически выгодно. С другой стороны, какие-то операции в серверных помещениях будут производиться персоналом датацентра, поэтому стоит поддерживать температуру, при которой можно комфортно находиться в помещении и выполнять рабочие задачи. Например, температуру не ниже 18–20 ℃.

Для определения верхней границы нужно понимать, что серверы в стойке могут нагревать воздух на 15–20 ℃, и таким образом температура в горячем коридоре может достигать значений, при которых строительные конструкции начнут терять свои свойства. В реалиях нашей страны уличная температура может превышать 40 ℃, что приведет к температуре в горячем коридоре до 60 ℃. В принципе, если северная построена с устойчивостью к таким температурам, то практического ограничения сверху у нас нет.

Описанная схема доказала свою практическую эффективность и запатентована в России (патент RU 269 20 46), но большинство инженеров российских датацентров по-прежнему ориентируются на графики ASHRAE. Когда соблюдения условий, рекомендуемых какой-то ассоциацией из Америки, требуют клиенты и переубедить их не представляется возможным, наверное, остается только развести руками и выполнять. Также можно прописать, чтобы все сотрудники датацентра ходили в балетных пачках – если клиент готов за это платить, то почему бы и нет. Но для своих собственных датацентров или тех, где клиентам предоставляются мощности под облачные решения, стоит серьезно задуматься: зачем делать дорого и громоздко, если можно сделать просто, дешево и надежно?

Влажность

Еще одним мифом, возникшим из-за чтения спецификаций без понимания физической сути процессов, является «поддержание требуемой влажности в датацентре». Давайте разберем, что стоит за этим мифом.

Когда я спрашиваю коллег, чем страшна низкая влажность, мне все время отвечают, что сухой воздух ведет к образованию статического электричества, которое будет выводить серверное оборудование из строя. С одной стороны, предпосылки к таким опасениям есть. Подростком, занимаясь конструированием электронных игрушек на письменном столе, мне приходилось по неаккуратности сжигать КМОП-микросхемы прикосновением руки. Однако, в современной промышленной среде достаточно убедиться в исправности заземляющих контуров, чтобы снизить вероятность повреждения статикой до нуля. Не скажу за всю индустрию, но мне не известен ни один (!) случай, когда в датацентре без контроля влажности статическим электричеством было повреждено оборудование.

Другой крайностью может быть слишком высокая влажность. С ней связана боязнь того, что высокое содержание воды в воздухе может привести к образованию капель на оборудовании, соответствующим замыканиям и дальнейшим ужасным последствиям. Однако, если разобраться в определении точки росы и вспомнить эксперимент по вытаскиванию бутылки водки из морозилки, то можно убедиться, что роса выпадает при попадании теплого воздуха с высокой влажностью на холодный предмет. В случае датацентра мы практически всегда имеем ситуацию, когда холодный воздух сталкивается с нагретым оборудованием и его температура постепенно повышается. Таким образом, образование росы в условиях правильно спроектированного серверного помещения физически невозможно.

Нужно отметить, что контроль за влажностью все же необходим в тех случаях, когда система работает на фрикулинге с доохлаждением. При переходе на такой режим из прямого фрикулинга теплый воздух с улицы действительно будет