Сценарий: API после релиза
Пример целой цепочки: подключение → порог → инцидент → проверка → восстановление.
Порядок настройки
- Выберите проект магазина и создайте checkout-api/production. Подключите источник JSON/OTLP, где одна операция даёт одно событие с severity и duration_ms.
- В «Шаблонах» выберите API, проверьте preview и примените. Откройте выключенные правила: error ratio >0.05, p95 >1000 мс, 5m, min_sample 100, два подтверждения.
- Настройте канал и проверьте test. По накопленной истории подберите пороги, затем включите правила. Дашборд/SLO уже созданы для этого сервиса.
- После своего релиза добавьте release marker. При сбое откройте incident/evidence и сравните метрики с временем релиза. Назначьте владельца, запустите workflow dry run.
- Одобрите предложение runbook после проверки. Откат/исправление приложения выполните средствами CI. Зафиксируйте решение в комментарии и проверьте три нормальных окна.
- Не генерируйте ошибки в production ради проверки. Для учебной проверки используйте отдельный сервис/окружение и откорректированные пороги.
Ожидаемый результат
Команда видит проверенный сигнал, ответственного и подтверждение восстановления.
Если не получается
5% ошибок не равно 5 событий; 5m окна перекрываются. Не приписывайте релизу причинность только по совпадению времени.