Проект «Феникс». Роман о том, как DevOps меняет бизнес к лучшему

От кого: Дик Лондри

Кому: Стив Мастерс

Копия: Билл Палмер

Дата: 18 сентября, 15:11

Приоритет: Самый высокий

Тема: СРОЧНО НУЖНО ДЕЙСТВОВАТЬ: потенциальное недовыполнение плана на 50 млн долларов из-за ошибки IT

ВСЕ СЧЕТА КЛИЕНТОВ ЗАВИСЛИ ИЛИ ПОТЕРЯЛИСЬ В СИСТЕМЕ, МЫ ДАЖЕ НЕ МОЖЕМ ВРУЧНУЮ ВОССТАНОВИТЬ ИХ, ЧТОБЫ ОТПРАВИТЬ ПО ПОЧТЕ!

Мы пытаемся выяснить, как мы можем восстановить нормальные бизнес-операции. В системе зависло счетов примерно на 50 млн долларов, и мы их недосчитаемся в этом квартале.

Пусть твои IT-работнички починят это. Такую дыру в квартальном отчете нам никак не спрятать, и даже объяснить будет сложно.

Позвони мне, Стив. Я буду ждать на подоконнике.

Дик

Нас всех собрали в переговорной NOC. Я доволен тем, что, заканчивая описывать инцидент, Патти быстро проговаривает все относящиеся к делу изменения, осуществленные за последние 72 часа.

После того как она закончила, я говорю, обращаясь ко всей команде: «Во-первых, прежде всего нужно оценить риск потери всех транзакций. Леди и джентльмены, я хочу быть максимально ясным: НИЧЕГО НЕ ТРОГАЙТЕ, НЕ СОГЛАСОВАВ ЭТО СО МНОЙ. Это не такой сбой, с которым мы имели дело раньше. Сейчас мы действительно можем потерять очень большое количество данных. Это меня пугает. И вас это тоже должно пугать.

Как и сказала Патти, нам нужны все ваши предположения о том, что вызвало сбой системы выставления счетов, – говорю я. – Это момент из Аполлона 13, а я Джин Кранц, теряю контроль в Хьюстоне. Я не хочу играть в угадайку. Я хочу гипотезы, основанные на фактах. Поэтому посмотрите на свои экраны, найдите данные, и я хочу услышать ваши лучшие идеи. Провал в этом случае не вариант».

К 18:00 команда Патти задокументировала больше двадцати потенциальных причин сбоя. После дальнейшего расследования осталось только восемь наиболее вероятных причин. Теперь другой отдел должен был рассмотреть каждую из них.

Понимая, что мы как группа ничего больше не можем сделать, пока они не закончат свое исследование, мы договариваемся собраться снова в 22:00 сегодня вечером.

С одной стороны, я расстроен, что снова мы потратили весь день на незапланированную работу. С другой – я чувствую глубокое чувство удовлетворения от того, как мы провели расследование, и быстро пишу Пэйдж, что ненадолго приеду на семейный ужин.

«Папочка», – слышу я, сидя на кровати с Грантом, пытаясь уложить его в постель и разобраться с мыслями о сбое.

Улыбаясь ему, я отвечаю на бесконечные вопросы моего трехлетнего сына. «Почему у паровозика Томаса такой мотор?» У нас есть ритуал чтения книг на ночь. Я рад делать это снова, как раньше делал каждый вечер. До «Феникса».

Большая часть света уже выключена, горит только один ночник. На кровати Гранта куча книг, и мы читаем уже третью за ночь.

У меня начинает рот высыхать от чтения. Мне нравится, как любопытны дети и то, как они любят книги, но бывали вечера, когда я настолько уставал, что засыпал прямо во время чтения. Когда моя жена заходила в комнату, находила меня, спящим на кровати Гранта с книгой на лице, и самого Гранта, пристроившегося рядом со мной.

Несмотря на то как я устал, я благодарен за то, что сегодня я рано дома и могу провести свой ритуал со старшим сыном.

«Нужно обязательно разобраться, папочка», – настаивает Грант. Я улыбаюсь ему, достаю телефон из кармана, собираясь забить в поиск Google «томас паровозик и его мотор».

Но сначала я быстро проверяю почту на телефоне. И сам удивляюсь, как все изменилось за две недели.

Во время первого срочного инцидента со сбоем в системе расчета зарплаты на нашем первом собрании все только показывали друг на друга пальцами, открещивались от проблемы и, что самое важное, тратили время наших клиентов, не в силах вернуть им деньги.

У НАС РИТУАЛ

ЧТЕНИЯ КНИГ НА НОЧЬ.

Я РАД ДЕЛАТЬ ЭТО

СНОВА, КАК РАНЬШЕ

ДЕЛАЛ КАЖДЫЙ ВЕЧЕР.

ДО «ФЕНИКСА».

В конце концов, после серии попыток выяснить, что произошло на самом деле, мы собрались, чтобы обсудить идеи о том, как это предотвратить. Кроме того, Патти провела серию звонков, оповещая всех о новых процедурах. Было приятно смотреть на это. Даже Вэс оценил.