Summary

Severity reasoning: 用户可见的页面加载失败（503 错误率 8%）、核心商品详情页延迟从 80ms 飙升至 15s，直接影响黑五营收；数据库持续过载，存在数据不一致风险。符合 SEV1 定义：用户面故障、收入影响。

deepseek-chat·prompt v1·output: zh·13176ms

Root cause hypotheses

• high缓存键同时过期导致雪崩：所有 catalog:item:* 键 TTL 设为 7h，且预热时间 02:00 UTC，导致 09:00 UTC 全部过期，12 倍流量同时穿透至数据库。

  Evidence: Redis 缓存未命中率从 2% 飙升至 95%，日志显示 09:00:00 UTC 开始大量 'cache miss + DB query' 记录。

• high数据库连接池耗尽：大量并发查询导致连接池满，新查询排队，进一步加剧延迟。

  Evidence: Postgres CPU 100% 持续，锁等待指标上升，连接池达到上限后查询开始排队。

• medium黑五流量超出预期：营销邮件导致 12 倍流量，远超系统设计容量。

  Evidence: 监控显示流量在 09:00 UTC 瞬间达到 12 倍基线，与邮件发送时间吻合。

• low数据库查询未优化：单个商品详情查询可能涉及多表 JOIN 或未使用索引，导致高 CPU。

  Evidence: 无直接证据，但高 CPU 可能由低效查询引起；需检查慢查询日志。

Investigation checklist

1. 确认缓存雪崩范围：检查 Redis 中 catalog:item:* 键的 TTL 分布。

   redis-cli --scan --pattern 'catalog:item:*' | head -100 | xargs -I {} redis-cli ttl {}

   Copy

   Expected: 大部分键 TTL 为 0 或已过期，确认雪崩。

2. 查看数据库当前活跃查询和锁等待。

   SELECT pid, state, wait_event_type, wait_event, query_start, query FROM pg_stat_activity WHERE state != 'idle' ORDER BY query_start;

   Copy

   Expected: 大量 SELECT 查询处于 active 状态，wait_event 显示 'LWLock' 或 'Lock'。

3. 检查慢查询日志，定位耗时最长的查询。

   grep 'duration:' /var/log/postgresql/postgresql-*.log | tail -100

   Copy

   Expected: 显示多个超过 10s 的查询，可能涉及 catalog 表。

4. 确认 Redis 缓存未命中率是否仍高。

   redis-cli INFO stats | grep keyspace_misses

   Copy

   Expected: keyspace_misses 持续增长，命中率低。

5. 检查 catalog-svc 实例的 CPU 和内存。

   kubectl top pods -l app=catalog-svc

   Copy

   Expected: Pod CPU 使用率接近 100%，内存正常。

Mitigation plan

• 立即启用限流：在 API 网关或 ingress 层对 /catalog/item/* 路径实施限流，限制每秒请求数至正常峰值的 2 倍。

  Risk: 部分用户请求被拒绝，但可防止数据库崩溃。

  Rollback: 移除限流规则：kubectl delete ingress/catalog-svc-rate-limit 或回滚网关配置。

• 手动预热缓存：编写脚本从数据库批量读取热门商品并写入 Redis，设置 TTL 为 30 分钟（避免再次同时过期）。

  Risk: 脚本本身会增加数据库负载，需在限流生效后执行，且只读取必要字段。

  Rollback: 停止脚本执行，并删除已写入的缓存键：redis-cli --scan --pattern 'catalog:item:*' | xargs redis-cli del

• 扩展数据库连接池：临时增加 PostgreSQL 最大连接数（例如从 100 增至 200），并重启 catalog-svc 以使用更多连接。

  Risk: 过多连接可能导致数据库内存压力，需监控。

  Rollback: 恢复连接数配置并重启服务。

Customer impact

黑五期间，用户访问商品详情页时遭遇高延迟（15s）或 503 错误（约 8% 请求失败），影响购物体验和转化率。预计在缓存预热和限流生效后 10 分钟内恢复。

Postmortem draft

Follow-ups

• P0实现缓存键随机 TTL，避免同时过期— service owner
• P0添加缓存雪崩防护：互斥锁或回源限流（如 singleflight）— service owner
• P1黑五前进行全链路压测，模拟 12 倍流量— platform team
• P1增加数据库连接池使用率告警— on-call SRE
• P2审查 catalog-svc 数据库查询性能，优化慢查询— service owner