Настольная книга эксплуататора. Всё, что вы хотели знать о повседневной жизни датацентров, но боялись спросить - Алексей Жумыкин

этого стало их массовое применение в устройствах IoT (смартфоны, умные дома, автомобили и др.), спрос на которые значительно вырос. В перспективе это может привести к отказу от круглосуточного дежурства на объекте. Вместо этого будет существовать общий ситуационный центр, обрабатывающий собранную информацию и принимающий решения о дальнейших действиях.

На первом этапе в этом процессе люди будут участвовать, контролируя принимаемые решения. Постепенно функция принятия решения будет замещаться искусственным интеллектом, так как прогнозировать, диагностировать неисправность и анализировать последствия сбоя, собрав тысячи показателей одновременно, человеку будет все сложнее. ИИ будет способен анализировать данные по аналогичным площадкам в мире и делать прогноз по своевременной замене компонентов.

Это происходит уже сейчас: например, десятки тысяч ИБП, подключенные к информационной сети, дают информацию о зависимости состояния батарей определенного типа конкретного производителя от количества циклов заряда-разряда, глубины разрядки, окружающей температуры, срока эксплуатации, режима зарядки и еще десятка различных показателей. Так что следующим шагом, скорее всего, будет отказ от круглосуточной дежурной смены в ситуационном центре.

Профилактические работы

Эти работы могут занимать до 25–30 % рабочего времени технического состава, и до сих пор они являются обязательными или крайне рекомендуемыми для основного оборудования датацентра. Однако и здесь происходят существенные изменения.

Рассмотрим для примера ИБП. Если еще десять лет назад в ИБП нужно было регулярно проверять состояние и менять конденсаторы постоянного и переменного тока, фильтры, вентиляторы, батареи, то в последних моделях ИБП для регулярной замены остались только вентиляторы. С появлением Li-Ion-технологий накопления энергии (а также находящихся на подходе Na-Ion, графеновых батарей и пр.) регулярные замены свинцово-кислотных батарей уходят в прошлое. Помимо этого происходит развитие инверторных технологий (многоуровневые инверторы, использование транзисторов на основе GaN, повышение рабочих частот и пр.), что приводит к уменьшению размеров оборудования и увеличению КПД. Снижение потерь до 1 % в перспективе будет означать выделение ИБП мощностью 500 кВт всего 5 кВт тепла, которое можно будет отводить через корпус, убрав последний компонент, требующий регулярной замены, – вентиляторы. ИБП превращается в устройство, не требующее обслуживания в течение всего срока жизни.

Интересны последние разработки ИБП, где функцию обоих преобразований (как AC-DC, так и DC-AC) выполняет BMS (Battery Management System). Это снижает тепловыделение систем и делает их более простыми в эксплуатации.

С системой охлаждения ситуация несколько другая. В настоящий момент большинство коммерческих датацентров использует рекомендуемый диапазон рабочих температур и влажности ASHRAE 18–27 ℃ / 60 %. Для его поддержания в наших широтах необходимо использовать холодильный цикл. По этой причине в датацентрах появляются чиллеры и фреоновые кондиционеры, требующие регулярного обслуживания.

В перспективе температурный диапазон работы IT-оборудования будет расширен, уже сейчас некоторые крупные объекты работают в режимах до +35 ℃. Электрооборудование, включая ИБП и Li-Ion-батареи, уже гарантированно работает при температуре +40 ℃, не снижая своих рабочих характеристик.

В ближайшее время мы увидим отказ от использования холодильного цикла и переход на естественное охлаждение. С точки зрения IT-инфраструктуры можно обратить внимание на Storage Class Memory – одну из новых технологий SSD, которая к тому же является энергонезависимой. При отключении питания информация не будет пропадать, а значит, и время восстановления системы после подачи питания может значительно сократиться. Для распределенных датацентров это позволит отказаться от таких сложных систем, как бесперебойное электроснабжение.

Отказ от применения высокотехнологичного оборудования сократит расходы на обслуживание.

Я не буду затрагивать все инженерные системы, скажу только, что технологически мы уже способны создать оборудование для датацентров, не требующее обслуживания в течение довольно длительного времени. Примером может служить эксперимент компании Microsoft Natic[42]. Уже два раза, в 2015 и 2018 годах, производилось погружение герметичных капсул, содержащих 860 серверов в 12 стойках в прибрежной зоне океана. Как показал этот опыт, такой мини-датацентр может работать до пяти лет без вмешательства человека. За счет использования инертных газов в капсуле количество отказов оборудования было снижено в восемь раз.

Насколько быстро этот подход начнет применяться в больших датацентрах – вопрос времени.

Ремонтные работы

Пожалуй, это самый сложный вопрос для обсуждения на текущий момент. Конечно, можно представить роботов из Boston Dynamics, производящих замену одного сервера на другой, но для реализации такого подхода потребуется несколько условий.

• Уровень централизации вычислений становится действительно масштабным, то есть это не просто датацентр, а громадная фабрика с сотнями тысяч устройств. На текущий момент мы видим на рынке централизацию вычислений, многие облачные и colo-провайдеры имеют десятки тысяч стоек на одном объекте, при этом данный сегмент рынка по-прежнему показывает наибольший рост.

• Стандартизация оборудования должна выйти на качественно новый уровень. Любой сервер, СХД или маршрутизатор должны быть выполнен в определенном физическом формате, чтобы необходимый для его монтажа/демонтажа робот был достаточно простым и надежным.

• С точки зрения отдельных компонентов нужно уйти от централизованных систем к распределенным (то есть вместо десяти ИБП по 1500 кВт нужно использовать 1500 ИБП по 10 кВт). В этом случае отказ одного компонента будет незначительно сказываться на работоспособности системы, а деградация характеристик датацентра будет происходить линейно с потерей отдельных компонентов.

• В отличии от этого в централизованных системах выход одного компонента приводит к потере резерва, а в случае отказа второго возможна полная потеря сервисов. Именно поэтому для объектов с централизованными системами важным фактором является наличие в зоне быстрой доступности специалистов, способных устранить неисправности. Помимо этого, важно не забывать про ЗИП для централизованных систем. Ввиду масштабного сбоя цепочек поставок все критически важные компоненты должны храниться на объекте. Для распределенных систем целесообразнее хранить запасное устройство, которое можно установить вместо вышедшего из строя. В данном случае срочная поставка ЗИП не обязательна.

Одним из интересных проектов, демонстрирующих рассмотренный выше подход, является OCP[43] (Open Compute Project). Он предполагает высокий уровень стандартизации, возможность использования распределенной системы бесперебойного питания в каждой стойке, переход на питание нагрузки постоянным током, широкий диапазон рабочих температур с отказом от холодильного цикла, горячую замену компонентов и многое другое. Основными локомотивами OCP изначально были крупные компании, имеющие у себя крайне высокую концентрацию IT-мощностей, однако постепенно проектом заинтересовались и другие участники рынка.

На текущий момент говорить о полном отказе от человека при проведении ремонтных работ в датацентрах рано, однако возможно отказаться от моментальной реакции на аварию и сократить время пребывания сотрудников на объекте. Аварийные работы постепенно будут переходить в плановые, то есть работа на объекте будет производиться при накоплении определенного количества отказов.

Датацентр – для машин, а не для человека

Традиционно датацентр – это объект, на котором присутствуют люди, и при проектировании этот факт является крайне важным. Необходимо обеспечивать безопасность и охрану труда работающего персонала, соблюдать эпидемиологические и санитарные нормы и т. д.

При отсутствии людей в датацентре кардинально меняются требования к устройству и функционированию объекта.

• Температурный режим. Нет необходимости поддерживать комфортную для работы людей температуру в горячих и холодных коридорах машинного зала. Это даст нам возможность круглогодичного использования режима фрикулинга для охлаждения IT-оборудования, что способствует повышению PUE и снижению капитальных и операционных затрат.

• Размещение IT-оборудования. Работа на высоте уже не будет осложняющим фактором, поэтому возможно использование IT-стоек любой высоты, что позволит более эффективно использовать объем помещения.

• Система пожаротушения. При отсутствии персонала на объекте можно применить системы пожаротушения, использующие метод снижения уровня кислорода в помещениях.

• Система вентиляции. Можно отказаться от необходимого для человека воздухообмена, что позволит убрать системы подготовки входящего воздуха.

• Персонал. Возможно сократить расходы на персонал, обучение, сертификацию и проведение мероприятий, связанных с охраной труда, производственной безопасностью, санитарными нормами и т. д. Можно исключить риски, связанные с гибелью или потерей здоровья людей.

• Используемые площади. Сокращение площадей для размещения персонала позволит оптимизировать расходы.

Таким образом, датацентр превращается в сложный механизм, функционирующий уже без человека, но высокоэффективный за счет использования новых технологий и принципов работы.

Заключение

Как и обещал, история получилась довольно субъективной и кое-где поверхностной. И это понятно: опыт одного человека вряд ли сможет покрыть все возможные ситуации, с которыми сталкивается руководитель ДЦ.