разбор эксплуатацииобновлено 2026-08-20

Разбор сбоя: устаревшие коэффициенты из-за слишком широкого ключа кэша

Учебный postmortem о том, как слишком широкий ключ кэша может смешать snapshots соседних рынков. Разбираем симптом, причину и защитные проверки, которые должны остановить такую ошибку раньше production.

Иллюстрация к материалу: Разбор сценария: stale odds из-за слишком широкого cache key
Erik Pitti / Wikimedia CommonsCC BY 2.0

Что это за разбор

Это учебный сценарий, а не описание реального инцидента ITNAN или конкретного оператора. Он нужен, чтобы показать ход расследования: от странного значения в интерфейсе до проверки cache key и защитных проверок.

Наблюдаемый симптом

На одной группе рынков UI периодически показывает цену, которая относится к соседнему market variant. После следующего обновления часть карточек «исправляется», поэтому проблема кажется случайной. HTTP и stream при этом могут оставаться технически успешными.

Гипотетическая первопричина

Cache key построен из event_id + market_type, но не содержит line/variant identifier. Два рынка с одним типом перезаписывают одну запись. Version fence не спасает, потому что версии сравнимы только внутри конкретного рынка, а ключ уже смешал две сущности.

Как локализовать

Первое защитное действие — suspend затронутого класса рынка в read API или отключение cache path для него, а не бесконечный flush. Затем key schema сверяется с identity model, проводится поиск коллизий на каталоге и добавляется проверка полного identity tuple.

Что меняем в дизайне

Формат cache key описывается рядом с canonical market identity и покрывается property-based тестом на уникальность. Snapshot хранит собственный market_id внутри value; reader проверяет соответствие key→value. Несовпадение считается ошибкой и не выдаётся клиенту.

Какие защитные проверки поймают ошибку раньше

Широкий cache key хорошо ловится тестами, которые строятся не вокруг одного happy path, а вокруг соседних сущностей. Два рынка с похожими параметрами должны получить разные ключи, версии и snapshots; затем тест намеренно меняет один из них и проверяет, что второй не затронут.

В production полезен дополнительный инвариант на чтении: payload должен содержать identity, совпадающий с запрошенным ключом. Такая проверка стоит дёшево и превращает тихое смешивание данных в заметную ошибку, которую можно остановить до показа пользователю.

  • Добавить property-based тест для генерации близких комбинаций ключей.
  • Сверять identity объекта после cache hit.
  • Отдельно мониторить аномальные скачки cardinality и hit rate после релиза.

Разбор полезнее начинать с временной линии, а не с виноватого коммита

Сначала фиксируется наблюдаемое: когда provider прислал новую цену, когда она попала в нормализованное состояние, какая версия оказалась в cache и что получил клиент. Такой timeline быстро показывает, на каком переходе свежесть потерялась. Только после этого имеет смысл разбирать конкретное изменение кода.

Если причиной был слишком широкий key, исправление не ограничивается новым шаблоном строки. Добавляется invariant test: два market с разными версиями не могут случайно разделить запись. Для интерфейса LiveOddsTile полезен ещё один guardrail — отображать stale как отдельное состояние, а не продолжать показывать значение без признака качества.

После исправления сравниваются age distribution и stale exposure на пиковых событиях. Отсутствие новых жалоб само по себе не доказывает, что класс ошибки закрыт.

После исправления

Наблюдение концентрируется на version regression, key/value identity mismatch и snapshot age. Сам факт отсутствия 500 не считается доказательством корректности данных.

Схема решения: Разбор сценария: stale odds из-за слишком широкого cache key
Диаграмма к разбору: Разбор сценария: устаревшие коэффициенты из-за слишком широкого ключа кэша.
Следующий слой

Связанные разборы по той же архитектурной цепочке

Эксплуатация

Наблюдаемость спортивной платформы: очереди, задержки и точки контроля

Какие метрики показывают состояние спортивной платформы лучше общего времени доступности и где ставить контрольные точки по пути данных.

Перейти к разбору →
Надёжность

Как искать узкие места в потоковой спортивной системе

Как сравнивать участки потоковой системы по задержке, очередям и потерям данных, чтобы не оптимизировать участок, который не влияет на пользователя.

Перейти к разбору →
Букмекерская логика

Коэффициенты в реальном времени без шторма запросов

Путь коэффициента от поставщика до интерфейса: нормализация, снимки и изменения, версии, обратное давление и разветвление потока обновлений.

Перейти к разбору →
Букмекерская логика

Кнопка коэффициента: доступность, изменение цены и приостановка

Как проектировать кнопку коэффициента: изменение цены, приостановка, фокус, клавиатурное управление и понятные состояния после выбора пользователя.

Перейти к разбору →