Настольная книга эксплуататора. Всё, что вы хотели знать о повседневной жизни датацентров, но боялись спросить - Алексей Жумыкин

Начнем с обходов. Когда мы вводили в эксплуатацию новый модуль в одном большом датацентре, я попросил руководителя рассчитать, как это скажется на загрузке дежурных. Он вернулся с ошеломляющими цифрами: до введения модуля на обход ежедневно уходило 4 часа, а с появлением модуля обход занял 5 часов. Я не поверил своим глазам.

Мы приехали на площадку, взяли ручку, блокнот и секундомер и пошли в обход следом за дежурным. Каково же было наше удивление, когда мы увидели, что сообщенное время соответствует реальному, при том что дежурный в спокойном темпе, не отвлекаясь, просто следовал листу обхода и делал свою работу. Вы только представьте, если ввести еще пару модулей, то дежурный, придя на работу, будет сразу собирать рюкзак и, приветственно махнув рукой, отправляться на всю смену осматривать оборудование…

В итоге мы сели за чек-лист обхода и постарались ответить на два вопроса: «Зачем мы вообще идем осматривать оборудование?» и «Почему мы делаем это каждый день?». Отвечая на второй вопрос, предполагаю, что изначально руководители как раз думали о том, что дежурные на работе «скучают», поэтому обязательно нужно их «развлечь», отправив посмотреть, все ли в порядке. Пока датацентр был небольшой, никаких проблем с этим не было, а весь абсурд многочасовых ежедневных обходов стал очевиден только на больших площадках.

Чтобы найти оптимальный вариант визуального контроля оборудования, нужно представить, что случится, если в это помещение никто не зайдет неделю? А что, если в это помещение заходить по средам, а вот в это – по четвергам? В общем, можно составить разные листы обхода на разные дни недели, в которых посещение некритичных помещений будет происходить в разные дни, а критичных – ежедневно.

Вернувшись к первому вопросу – «Зачем?», рассмотрим возможность замены визуального контроля соответствующими датчиками. Например, по всей длине трубы охлаждающего контура (или хотя бы в местах расположения фланцев) разместить датчики протечки.

Часть задач по осмотру оборудования стоит переложить на группы технического обслуживания. Это имеет смысл еще и потому, что, наблюдая за показателями приборов, слушая непонятные шумы, специалисты сразу же смогут сделать вывод о том, нормальное это функционирование или нет. К сожалению, понимание дежурных в этот момент часто напоминает анекдот про «Что десять? А что приборы?».

Разобравшись с частотой и глубиной обходов, следует обязательно посвятить достаточное количество времени формальной организации и обеспечению обходов. Во-первых, в наличии и исправности должен быть весь инструмент, например рация, фонарик, ключ электрошкафов и т. д. Во-вторых, спецодежда. В-третьих, у дежурного обязательно должен быть лист обхода, в котором точно обозначено, куда он должен зайти и что именно там увидеть. Если требуется снятие показаний с каких-нибудь датчиков, обязательно должен быть указан допустимый диапазон этих показаний, чтобы дежурный сразу смог сделать вывод о нормальной или аномальной работе оборудования.

По окончании обхода, если к состоянию датацентра и оборудования есть замечания, нужно, не откладывая, создать заявку в CMMS. В любом случае заполненный лист обхода следует заархивировать в наряде CMMS и сложить в установленную папку общего доступа.

Еще одним инструментом, упрощающим обходы, должна стать возможность любого сотрудника сообщить о найденной неисправности в датацентре. Для постоянных сотрудников это может быть, например, общий канал в мессенджере. Скорее всего, заходить в CMMS и заполнять там заявку на наряд сотрудник, для которого система не является ежедневным инструментом, не станет. Способ сообщения должен быть простым и доступным. Гостей датацентра можно познакомить с правилом, что, если они заметили что-то подозрительное в работе (шум, подтек, дым и т. п.), нужно сразу сообщить об этом первому же штатному сотруднику, который должен будет проверить, в чем дело, и сообщить, как указано выше.

Самостоятельно составить план технического обслуживания нетрудно. Проще всего обратиться к документации производителя, и, как правило, достаточная информация там уже содержится. Если ее нет, то стоит обратиться к производителю с соответствующим запросом. Если и тут не удалось получить ответа (кто же знал, что производитель как компания перестанет существовать еще до истечения гарантийного срока оборудования?) – придется изучать документацию на сходное оборудование и самостоятельно отбирать применимые пункты в свою собственную карту обслуживания.

Вторым источником плана должны обязательно стать государственные нормативные документы, особенно в вопросах технической безопасности. В ПТЭЭП[27], например, напоминают о необходимости очистки оборудования от пыли и загрязнений, о чем может по умолчанию не сообщать производитель.

Поняв весь объем действий, можно разделить их двумя способами. Первое – по частоте. Тут стоит обязательно сказать, что техническое обслуживание можно проводить по календарю, а можно по состоянию, например по выработке определенного количества часов.

Для календарного обслуживания нужно сосредоточиться на ежедневном техническом обслуживании, еженедельном, ежемесячном и т. д. Наиболее удобным наименованием таких видов контроля мне кажется указание дней между соседними ТО – и коротко, и наглядно. Например: ТО1, ТО7, ТО30, ТО120 и т. д. Для ТО по состоянию теоретически можно использовать тот же формат, но в нем будет легче запутаться, так как в примере выше это всегда дни, а в случае оценки состояния это могут быть моточасы, киловатт-часы, тонны и т. п.

Второй способ разделения – по квалификации. Это разделение также будет разбираться ниже, в главе, посвященной ответу на вопрос «Делать самим или позвать подрядчика?». Три основные группы работ: выполнение силами дежурных (например, очистка от пыли), выполнение силами собственной группы ТО и выполнение силами подрядчика. С точки зрения календарного планирования второй способ разделения не имеет большого значения, за исключением денежного вопроса, о котором чуть ниже.

Следующим шагом и, для организации комплексного процесса эксплуатации, наверное, самым важным, является построение календарного плана работ. Такое планирование требует аккуратности, так как следует учесть все имеющиеся ресурсы, как собственные (не забыть про отпуска сотрудников), так и доступность специалистов сторонних компаний, особенно зарубежных. Необходимо создать «разрешенные окна» для обслуживания (некоторые датацентры, например, запрещают проведение работ в период Рождества из-за повышенного риска для своих клиентов). Аргументом в пользу создания «окон» также может стать пересечение однотипных работ на разных площадках – с точки зрения ТО это неудобно: можно не успеть закончить работы в среду на одной площадке, а в четверг необходимо уже начать на другой, за 1000 км.

Далее подготовленные планы разлетаются, словно фотоны, сразу в двух направлениях. Во-первых, поступают к руководителю площадки, который увязывает в единый график работы по всем имеющимся системам, следя за тем, чтобы одновременно не проводилось несколько работ, особенно с понижением степени резервирования или с отключениями IT-нагрузки. Во-вторых, к руководителю, отвечающему за систему по всем площадкам, например главному энергетику. Его задача будет убедиться в том, что работы, требующие отключений, не проводятся одновременно на нескольких площадках и в целом картинка по плану ТО получается красивая и понятная.

В итоге согласованные планы по всем площадкам отображаются в календаре. Для годового периода это может быть предварительный план, а для месячного – фиксированный. Из этого календаря можно экспортировать работы какого-то выбранного подрядчика и отправить ему для подтверждения. Если подрядчик не может подтвердить даты и предлагает новые – все начинается сначала. На деле оставить некие конфликты по датам проведения ТО в годовом плане допустимо, но в зафиксированном месячном этого следует избегать.

Не лишним будет уточнить у подрядчика и стоимость работ по запланированному ТО. Тогда, добавив эту информацию в календарный план, мы можем получить прогноз по бюджету на техническое обслуживание, если такая необходимость есть.

Окончательно сформированный план, на котором отмечены даты работ с отключением нагрузки или понижением резервирования, нужен для заблаговременного согласования с заказчиком, внутренним или внешним. Цель процесса согласования в том, чтобы на текущий и следующий календарные месяцы план был подтвержден и зафиксирован всеми сторонами.

Глава 10

Инциденты и что с ними делать

Как я писал в прошлой главе, мне не раз приходилось встречать руководителей датацентров, считающих, что работа дежурной смены чем-то напоминает работу пожарных. Большую часть времени команда занимается самообразованием, накачиванием мускулов или (что вероятнее) развлечениями, но стоит прозвенеть специальному сигналу, как они тут же