Сбой Timeweb: что проверить после восстановления сети

Содержание статьи
Что произошло: подтверждённые факты
В официальном постмортеме Timeweb Cloud от 17 ноября указано окно инцидента с 13:18 до 15:05 МСК. По сообщению провайдера, проблема затронула все локации, кроме Новосибирска. Обновлялся сетевой стек гипервизоров — программный слой, который управляет работой виртуальных серверов и их связью с сетью.
Служба динамической маршрутизации перезапустилась не полностью. Гипервизоры не смогли заново сообщить сетевому оборудованию маршруты к серверам, поэтому часть серверов потеряла сетевую связность. При этом, как подчёркивает Timeweb, сами виртуальные серверы продолжали работать.
В хронологии провайдера большая часть серверов снова стала доступна по сети в 14:17 МСК, а работа всех сервисов в рамках инцидента была восстановлена в 15:05 МСК. Это итог опубликованного разбора, а не утверждение о текущей доступности каждого клиентского приложения.
Timeweb также анонсировал расширение компонентных проверок маршрутизации, увеличение интервалов между этапами обновлений и ускорение восстановления сетевого стека. Эти меры описаны как дальнейшие действия; сообщение не доказывает, что они уже выполнены.
Почему работающий сервер не означает работающий продукт
Проверять восстановление полезно на разных уровнях. Виртуальная машина может выполнять программы, но быть недоступной из интернета. Сеть может восстановиться, а приложение — остаться с ошибками соединения. Наконец, сайт может открываться, хотя заказ не попадает менеджеру или уведомление не доходит клиенту.
Для руководителя это разные состояния с разными последствиями. На первом уровне нужен ответ провайдера об инфраструктуре. На следующем — проверка приложения командой сопровождения. На последнем — подтверждение результата владельцем бизнес-процесса. Один зелёный индикатор не заменяет все эти ответы.
Условный пример: покупатель нажал кнопку оплаты, получил ошибку и попробовал снова. После восстановления сети нужно выяснить, созданы ли заказ и платёж, какой у них статус и получено ли подтверждение платёжного сервиса. Повторять всю операцию только потому, что клиент не увидел страницу успеха, опасно: сначала следует установить фактический результат.
Этот пример не является описанием последствий аварии Timeweb у конкретного клиента. Он показывает, какие вопросы стоит включать в собственную проверку восстановления.
Как выбрать способ восстановления
Решение зависит от подтверждённого состояния, а не от самого факта сбоя у поставщика. Важно сохранить наблюдения до действий, которые изменяют состояние приложения: время ошибки, затронутый сценарий, идентификатор операции и доступные журналы. Пароли и платёжные реквизиты в общий чат инцидента не переносят.
| Что установлено | Разумное действие | Что проверить перед следующим шагом |
|---|---|---|
| Провайдер ещё восстанавливает сеть, приложение недоступно извне | Согласовать временный режим и следить за официальным статусом | Есть ли независимый канал связи с клиентами и подтверждённый резервный путь |
| Сеть восстановлена, отдельный сервис приложения не отвечает | Диагностировать именно этот компонент | Состояние подключений, зависимости и последствия возможного перезапуска |
| Интерфейс доступен, операции зависли или имеют неясный результат | Сверить записи приложения с внешними системами | Какие операции завершены, какие отклонены и какие ещё ожидают ответа |
| Основной процесс подтверждён, накопилась очередь работ | Возвращать обработку под наблюдением | Защита от повторов, порядок обработки и способность внешних систем принять поток |
Перенос на резервную площадку тоже требует проверки. Он помогает, когда среда заранее подготовлена, данные доступны, а команда понимает, где принимаются новые записи. Если такой готовности нет, аварийное переключение может добавить вторую неопределённую систему. Для части продуктов временное ограничение отдельных функций будет управляемее поспешного переноса.
Аналогично, перезапуск всего приложения не является универсальным лечением сетевой проблемы. Его выбирают по диагнозу и с пониманием того, что произойдёт с незавершёнными операциями. Цель — восстановить согласованное состояние, а не просто убрать сообщение об ошибке.
Что проверить до возвращения клиентского трафика

Список проверок нужно привязать к реальному продукту. Для интернет-магазина это может быть путь от корзины до подтверждённого заказа; для внутренней системы — создание заявки и её появление у ответственного сотрудника. Проверочная операция должна быть безопасной и отличимой от настоящей продажи или обращения.
Практический список для команды сопровождения:
- Открыть ключевые страницы из нужных пользователям сетей и проверить вход в систему.
- Выполнить согласованный тестовый сценарий с ожидаемым результатом в системе учёта.
- Проверить соединения приложения с базой данных, хранилищем и внешними сервисами.
- Разобрать незавершённые операции, прежде чем разрешать их автоматическое повторение.
- Сверить очередь фоновых задач, уведомлений и обменов с учётными системами.
- Убедиться, что сообщения клиентам соответствуют фактическому состоянию.
- Назначить наблюдение после возобновления нагрузки и условие повторного ограничения функции.
Для платежей и других значимых действий особенно важна защита от повторного выполнения. Её часто называют идемпотентностью: повтор запроса с тем же идентификатором должен обрабатываться по заранее заданному правилу, а не создавать ещё одну операцию. Наличие такой защиты нужно проверять в конкретной интеграции, а не предполагать по названию платформы.
Сообщение «сайт работает» лучше заменить точной записью: какой сценарий проверен, кем, с каким результатом и что ещё не подтверждено. Это позволяет поддержке честно отвечать клиентам, а руководителю — выбирать режим работы на основе наблюдений.
Что согласовать с подрядчиком поддержки
В IT-аутсорсинге полезно заранее разделить инфраструктуру, приложение и решение бизнеса. Провайдер восстанавливает свою платформу и публикует её статус. Подрядчик сопровождения проверяет компоненты приложения в согласованной области. Владелец процесса определяет, какие пользовательские операции важнее и когда допустимо временно ограничить функцию.
На практике договорённости должны отвечать на вопросы:
- Кто собирает техническую картину и связывается с провайдером?
- Кто принимает решение о переключении среды или перезапуске компонента?
- У кого есть доступ к журналам, очередям и статусам внешних операций?
- Кто сверяет спорные заказы, платежи или заявки?
- Какие проверки входят в сопровождение, а какие требуют отдельной доработки?
- Кто сообщает клиентам о режиме работы и подтверждает завершение инцидента?
Стоимость такого сопровождения зависит от состава продукта и необходимых проверок. Простая страница и сервис с платежами, складом и несколькими интеграциями требуют разной глубины контроля. Поэтому полезно обсуждать конкретные обязанности, доступы и критерии результата, а не ожидать одинакового восстановления от любого пакета поддержки.
При обсуждении поддержки и развития IT-продукта начните с одного критичного сценария. Покажите его зависимости, ответственных и признаки успешного завершения. Это поможет определить предмет работ без обещаний, что подрядчик управляет инфраструктурой чужого облака.
Как принимать обновления общей инфраструктуры
Новый урок постмортема — проверять результат изменения по компонентам. Формальное состояние «служба запущена» может не показывать, восстановились ли все функции внутри неё. Для бизнеса это означает необходимость согласовать проверяемый результат обновления, а не только факт выполнения работ.
Применительно к собственному продукту заранее определяют контрольный сценарий, порядок перехода к следующему этапу изменения и условие остановки. Если несколько площадок зависят от общего процесса обновления или управления, само наличие нескольких регионов ещё не объясняет, насколько независим их отказ. Этот вопрос нужно обсуждать по фактической архитектуре.
Смысл такого подхода — обнаружить проблему до расширения воздействия. Команда должна понимать, какие признаки проверяются после первого этапа, кто смотрит результат и какие наблюдения позволяют продолжать. Конкретный порядок выбирают владельцы инфраструктуры; опубликованный разбор Timeweb не даёт клиентской команде полномочий менять гипервизоры провайдера.
Отдельно стоит проверить готовность резервного пути. Разбор атаки на Beget и независимости доступа к резервным копиям дополняет этот вопрос: копия, доступ к ней и проверенное восстановление являются разными условиями. В текущем инциденте Timeweb источник описывает сетевую причину; это не основание объявлять утрату данных или советовать всем восстановление из копии.
Источники и границы разбора

Основной источник — официальный постмортем Timeweb Cloud, опубликованный 17 ноября. Сообщение о закрытии инцидента отдельно фиксирует восстановление сервисов. Времена в хронологии выше приведены по Москве, как в постмортеме.
Причину и объём инцидента здесь излагаем со слов провайдера. Собственные проверки его инфраструктуры и расследование GGAPP не проводились. Этот разбор также не устанавливает причину одновременно появлявшихся жалоб на Google, DeepSeek и другие сервисы.
Таблица и контрольные вопросы — рекомендации для обсуждения своего процесса сопровождения. Они не являются сообщением о том, что у клиентов Timeweb произошли повторные платежи, потеря данных или иные конкретные последствия.
Частые вопросы
Нужно ли перезапускать сервер, если провайдер сообщил о сетевом сбое?
Сначала нужно установить его фактическое состояние и проверить официальный статус. По постмортему Timeweb виртуальные серверы во время этого инцидента продолжали работать. Перезапуск приложения или сервера выбирают по отдельному диагнозу и с учётом незавершённых операций.
Можно ли сразу повторить заказ или платёж после ошибки соединения?
Не следует автоматически считать его неуспешным. Сначала проверяют запись операции и ответ внешней системы. Повтор допустим по правилам конкретного процесса и интеграции, с защитой от создания дубликата.
Достаточно ли получить от провайдера сообщение о восстановлении?
Это подтверждение состояния его платформы в рамках сообщения. Для собственного продукта отдельно проверяют доступность компонентов и завершение согласованных пользовательских сценариев: заявка, заказ, платёж или обмен данными.
С чего начать улучшение поддержки после такого инцидента?
Выберите критичную операцию и опишите её зависимости, ответственных, безопасную проверку и критерий возвращения к обычной работе. Затем сравните эту схему с фактическими обязанностями провайдера и подрядчика приложения. Пробел в ответственности становится предметом конкретного изменения процесса.