К концу 2025 года у нас в Provet почти не проходило ни недели без очередного ухудшения работы инфраструктуры. Сбои шли один за другим, диагностировать их было трудно, а терпение клиентов подходило к концу.
Когда в октябре произошёл крупный сбой AWS, клиенты не стали разбираться, где проблема Amazon, а где наша: месяцы нестабильной работы уже подорвали их доверие.
Поэтому мы впервые объявили режим «жёлтого кода» (Code Yellow). Мы разослали всей компании письмо, в котором объяснили суть этого режима, структуру работы, критерии завершения и причины такого решения. Цель была простой: подтянуть показатели SLA и добиться нулевого времени недоступности на протяжении восьми недель подряд.
Хорошая новость в том, что мы справились. За весь этот период произошёл лишь один кратковременный эпизод ухудшения работы, и разница с ситуацией всего несколькими неделями ранее была поразительной.