Настольная книга эксплуататора. Всё, что вы хотели знать о повседневной жизни датацентров, но боялись спросить - Алексей Жумыкин

так и для сторонних специалистов, и инвестировать в посещение таких программ кажется самым правильным ходом. Даже более того, имеет смысл регулярно отправлять специалистов своей группы ТО на курсы тех производителей, оборудование которых пока не используется. Во-первых, это расширяет кругозор в профессиональной области и позволяет найти решения, которые иначе могли бы ускользнуть из рассмотрения. Во-вторых, некоторые преподаватели просто рассказывают интереснее. В-третьих, у отдельных производителей есть даже целые университеты, которые можно посещать онлайн и бесплатно, повышая свой уровень в целевой и смежных областях.

Скорость реагирования. Я сталкивался с двумя показательными случаями. В одном производитель заявлял, что все инженеры сейчас заняты на работах в других странах и при самой благоприятной ситуации могут быть на нашем объекте через полтора месяца. В другом случае оказывалось, что сотрудник, осуществлявший монтаж и настройку оборудования на нашем объекте, принял решение покинуть компанию, но это не беда, так как производитель уже нанял нового специалиста и тот готов выехать к нам… как только закончит процесс получения визы в Россию. В таком случае собственная служба, укомплектованная более чем одним специалистом, может быть довольно весомой альтернативой.

Для организации высококлассной команды технического обслуживания не стоит забывать и про затраты на техническое оснащение. Начать можно с узкоспециализированного и дорогостоящего инструмента, который может понадобиться раз в несколько лет, а закончить собственным автопарком для экстренного выезда группы ТО на удаленные объекты. Понятно, что в случае обслуживания сторонней организацией нам не нужно об этом думать – достаточно оплачивать только часть таких расходов, что может быть очень существенной экономией.

И конечно, нужно особое внимание уделить кадровой работе. Не секрет, что, когда специалист становится действительно классным, его стоимость на рынке труда существенно возрастает и он не только становится объектом охоты со стороны конкурентов, но и сам начинает посматривать вокруг в поисках улучшения материального положения или профессионального признания. В случае собственной команды вам придется не только обеспечивать сотрудника практической работой, чтобы он повышал свой уровень и не терял наработанные навыки, но и предоставлять ему достойную компенсацию за лояльность, которую он проявляет, оставаясь работать в вашей компании. При работе же с подрядчиком нужно также пристально смотреть на профессиональный уровень тех специалистов, которые к вам приезжают. Возможно, Петр Сергеевич, легендарный обладатель золотых рук, уже ушел из компании, а к вам приедет не самый лучший его ученик.

Суммируя все сказанное, повторю, что вопрос об оптимальном балансе в обслуживании оборудования между своими и чужими очень индивидуален.

Глава 13

Инструменты команды эксплуатации

Подавляющее число процессов современного бизнеса уже давно автоматизировано, и датацентры, конечно, активно используют имеющиеся наработки. Но существует и своя специфика, и ниже мы рассмотрим именно специализированные решения.

Некоторое время назад весь спектр таких инструментов широко обсуждался под аббревиатурой DCIM – Data Center Infrastructure Management[31], и большинство ведущих игроков рынка попыталось представить свою концепцию единого информационного поля. Однако общего понимания того, что имеется в виду под DCIM, нет до сих пор, поэтому все концепции расползлись по разным углам, в разных продуктах акцент сделан на ту область, которая именно этим производителем считается ключевой. Где-то это кабельный журнал, у кого-то круговые диаграммы с PUE[32], кто-то лучше других управляет нарядами на работы, а где-то учитываются в трехмерных графиках токи с каждого автомата. Поэтому решения получились несравнимые по функционалу, и выбрать что-то одно просто невозможно.

С другой стороны, заказчики и не ищут стандартный продукт, так как у каждого датацентра свои задачи, возможности, организационная структура и т. д.

В такой ситуации лучше всех будут смотреться программные модульные продукты, в которых каждый модуль посвящен решению одной-двух задач, имеет хорошо интегрируемый, а еще лучше открытый, интерфейс и может устанавливаться отдельно в любом сочетании. Мне известно только одно решение, более-менее удовлетворяющее этому описанию, но и оно далеко не идеальное.

Огромной проблемой в отрасли информационных технологий является очень быстрое устаревание сегодняшних продуктов, причем не только аппаратной части, но и операционных систем. Это приводит к невозможности гарантировать, что через пять лет используемое вами программное обеспечение полностью не перестанут поддерживать и вы один на один не останетесь с тем, что у вас есть. Как вариант, вам могут предложить льготный переход на новую платформу или версию ПО – не бесплатно, конечно.

В итоге наиболее продвинутые из заказчиков создают свое решение самостоятельно, комбинируя стандартные продукты, которые есть на рынке, и привлекая подручных разработчиков для написания недостающих модулей и интеграции всего вместе, а иногда даже вводя их в штат компании.

Ниже мы разберем несколько классов программ, которые желательно иметь в датацентре, и есть смысл повторить, что разделение их достаточно условно, да и границы между применяемыми продуктами нужно пересматривать для каждого случая отдельно.

Ежедневный мониторинг

Самым необходимым решением, без которого современный датацентр просто немыслим, является система мониторинга. В общем случае она служит для отображения состояния, в котором находится оборудование датацентра, но чаще всего сразу же дополняется всевозможными функциями, из-за чего достаточно трудно отделить нужное от желаемого.

Для простоты восприятия давайте определим, что система мониторинга – это светофор, имеющий три сигнала:

• красный – необходимо встать со стула и что-то предпринять;

• желтый – установлено пристальное наблюдение;

• зеленый – все работает штатно.

Количество отображаемой на экране информации должно быть достаточным для принятия решения, но не излишним. Эксплутационщики часто шутят, что на экране мониторинга должна быть всего одна зеленая галочка, показывающая, что в датацентре все в порядке. Приходилось часто видеть системы мониторинга на несколько экранов, в которых выведена была самая разнообразная информация и сосредоточиться на чем-то одном было трудно из-за ряби в глазах. Гораздо удобнее вывести на экран верхнеуровневую схему объекта и предусмотреть возможность переходить на экран с отображением большей детализации по мере необходимости.

В тот момент, когда какая-то система подает сигнал предупреждения (например, окрашивая соответствующий символ в желтый цвет), дежурные должны разобраться в том, что является причиной инцидента, и удостовериться, что они правильно понимают свои дальнейшие действия. А в случае развития ситуации до критичной (но допустимой), не предпринимать никаких действий немедленно, например если речь идет о кратковременном превышении температуры оборудования либо переходе систем из состояния «с резервированием» в состояние «без резервирования».

При передаче смены все текущие проблемы обязательно фиксируются и передаются от одной смены к другой. В то же время не следует допускать демонстрацию предупреждающего сигнала в течение долгого времени, так как в этом случае глаза дежурных замыливаются, они перестают замечать привычный желтый квадратик на мониторе и даже забывают о причинах его появления.

Сигнал о критической ошибке (инциденте), например красного цвета, должен однозначно инициировать действие дежурных, причем подразумевается, что оно описано в «аварийной инструкции в аварийных ситуациях», чтобы дежурные ничего не забыли и сработали без паники – четко и быстро.

В реальной жизни нужно постоянно бороться с ситуациями, когда на мониторинге появляется сигнал об инциденте, но никто ничего не предпринимает. Это говорит либо о том, что на самом деле ситуация не является по-настоящему критичной (и ее можно перевести в разряд предупреждений), либо о том, что персонал не обучен отрабатывать аварийные ситуации.

Для такого администрирования требуется, чтобы в системе мониторинга был предусмотрен административный доступ с возможностью менять приоритет того или иного события, а также назначать необходимые варианты реагирования на него, например, отправкой СМС, сообщения по электронной почте, сообщения в чат заинтересованных специалистов и т. д.

Важным дополнительным функционалом мониторинга обязательно должен быть лог – журнал событий, позволяющий не пропустить ни одного важного сообщения, а также упрощающий разбор полетов в случае сложных инцидентов.

Очень часто в систему мониторинга включают также функционал анализа данных, то есть выборку из базы данных, показывающую, как изменялся тот или иной параметр во времени. Если посмотреть со стороны вовлеченных специалистов, то это не совсем верное объединение. Мониторинг, как уже было сказано, нужен в основном для дежурных, которые реагируют на него здесь и сейчас. При этом зачастую дежурным даже