8 октября 2026 года наш облачный провайдер потерял дата-центр, в котором работала вся наша инфраструктура. Через трое суток то же самое случилось со второй площадкой, на которую мы к тому моменту успели переехать. За неделю мы дважды поднимали платформу почти с нуля. Как говорится в меме: да, это я, и как я докатился до жизни такой…
Небольшой спойлер итога ситуации, которую я буду разбирать дальше: мы безвозвратно потеряли данные за 20 часов, прошедших с последнего резервного копирования. Сервисы переехали сначала в соседнюю зону того же облака, потом к другому провайдеру, а миграцию в Kubernetes, начатую год назад, мы закончили за двое суток. Базы данных теперь хранятся в двух копиях у разных провайдеров. Ниже разобрал, как всё было, что помогло ускориться при переезде и где мы потеряли время на собственной ошибке.
Немного контекста: я руковожу разработкой в BotHelp — SaaS-сервисе рассылок и ботов в мессенджерах. Когда платформа лежит, у клиентов не уходят рассылки и не обрабатываются оплаты их подписчиков. Поэтому максимально важно быстро реагировать и восстанавливать работоспособность платформы.
Утром 8 октября на телефон пришёл алерт: платформа недоступна. Внутри компании инцидент объявили в 04:30 по Москве. Не отвечала вся наша инфраструктура в Yandex Cloud: ни серверы, ни базы данных.
