Is Mindbox Down?

04 сентября 2026 года с 09:06 до 10:29 \(мск\) у 4% клиентов Mindbox с задержками обрабатывались или не обрабатывались фоновые операции: сценарии, асинхронные операции, массовые операции и рассылки. **Корневая причина — ошибка при удалении одного из секретов в приложении. Из за нарушения порядка выкладки секрет удалился до того как приложение перестало его использовать.** ### **Влияние на клиента** В период инцидента не обрабатывались или обрабатывались с задержкой: сценарии, асинхронные операции, массовые операции и массовые рассылки. Данные не были потеряны — после устранения инцидента все накопившиеся асинхронные операции и рассылки были обработаны. ‌ **Как выявляли и устраняли инцидент** * **09:06** — произошел перезапуск сервисов, началась деградация обработки асинхронных событий * **09:20** — система проэскалировала нарушение внутреннего SLO * **09:24** — инженеры приступили к диагностике * **10:20** — определён способ устранения, начат откат релиза * **10:29** — откат завершён, обработка сценариев, операций и рассылок восстановлена; массовые рассылки полностью отправлены * **10:43** — задержки обработки полностью пришли в норму **Отчёт** **Подробнее о причине сбоя** Сервисы Mindbox получают чувствительные настройки \(секреты\) из централизованного хранилища. В плановом релизе один из секретов был удален как более не нужный новой версии кода. Хранилище секретов обновилось раньше, чем код сервисов, и перестало выдавать удаленный секрет. Работающая версия сервисов при этом все еще требовала его как обязательный: после перезапуска сервисы не смогли получить нужное значение и завершались с ошибкой. Из-за этого остановилась обработка фоновых операций. Быстро выложить исправление поверх не удалось — процедура выкладки требует, чтобы все сервисы были работоспособны. Инженеры выполнили полный откат релиза, после чего работоспособность восстановилась. ‌ ### **Что улучшим** **В работе:** * Добавим проверку совместимости при удалении секретов — декабрь 2026 --- [2026-09-04T09:40:44.814Z] (resolved) С 9:06 до 10:29 (мск) у 4% клиентов Mindbox наблюдались нарушения фоновых сервисов: сценарии, асинхронные запросы, массовые операции и рассылки. С 10:29 работа сервисов восстановлена, накопившаяся очередь событий - обработана Дежурная команда продолжает наблюдать за стабильностью работы систем. Вернёмся с детальным разбором в течение 2 недель.

20 июля 2026 года с 16:25 до 16:45 \(мск\) у 5% клиентов Mindbox не создавались и не изменялись заказы в процессинге. **Корневая причина — программная ошибка в утилите миграций схемы базы данных: на части проектов шаги миграции применились в некорректном порядке, из-за чего операции создания и изменения заказа завершались ошибкой. Просмотр заказов оставался доступен.** ### **Влияние на клиента** В период инцидента создание и изменение заказов было недоступно во всех каналах: кассы не могли создавать заказы, онлайн-заказы не создавались, не работало изменение статусов заказов. Чтение заказов было доступно.  После устранения инцидента все заказы из асинхронных операций были обработаны. ### **Как выявляли и устраняли инцидент** * **16:25** — сработала эскалация систем мониторинга * **16:31** — дежурные инженеры локализовали проблему * **16:38** — исправлена миграция схемы базы данных на одном клиенте, процессинг заказов на нём восстановился * **16:40** — исправление запущено на всех клиентах * **16:45** — работа процессинга заказов полностью восстановлена ### **Отчёт** **Подробнее о причине сбоя** В одной из таблиц базы данных процессинга заказов была устаревшая колонка, которую код не использовал. Её удаление — двухшаговая операция: сначала снимается значение по умолчанию, затем удаляется сама колонка. Из-за программной ошибки в утилите миграций схемы базы данных на некоторых проектах эти два шага применились в некорректном порядке. В результате база временно оказалась в некорректном состоянии: колонка оставалась обязательной, но уже без значения по умолчанию. Любая запись в таблицу, а значит, любое создание или изменение заказа — завершалась ошибкой. После выполнения оставшегося шага \(удаления колонки\) состояние нормализовалось и ошибки прекратились. ### **Что улучшим** **В работе:** * Доработаем утилиту миграций схемы базы данных для корректного последовательного применения нескольких связанных изменений — август 2026 * Добавим в утилиту миграций валидацию корректности запрошенных изменений с точки зрения схемы базы данных — август 2026 --- [2026-07-20T14:03:33.102Z] (resolved) С 16:25 до 16:45 (мск) для 5% клиентов наблюдалась частичная недоступность сервисов расчета и сохранения заказов. С 16:45 работа сервисов восстановлена. Дежурная команда продолжает наблюдать за стабильностью работы систем. Вернёмся с детальным разбором в течение 2 недель.