payment-svc DB connection storm

Summary

Severity reasoning: 用户可见的结账失败（支付路径中断），错误率 >1% 超过 5 分钟，符合 SEV1 标准。

deepseek-chat·prompt v2·output: zh·10427ms

Root cause hypotheses

• highpayment-svc v2.41 新增的批处理作业占用了所有数据库连接，导致正常请求无法获取连接。

  Evidence: 日志显示 'connection refused' 从 payment-svc 到 postgres-primary，且 active_connections = 500/500。部署时间 13:50 UTC 与问题开始时间吻合。

• medium数据库连接泄漏，连接未被正确释放。

  Evidence: 连接数达到上限 500，但 CPU 正常（35%），可能连接被挂起未关闭。

• low数据库主节点故障或网络分区。

  Evidence: CPU 正常，无网络错误日志，可能性低。

Investigation checklist

1. 检查 payment-svc 到 postgres-primary 的连接池状态

   kubectl exec -n prod deploy/payment-svc -- pgrep -a batch-job || echo 'no batch job found'; kubectl logs -n prod -l app=payment-svc --since=15m | grep -i 'connection refused' | head -20

   Copy

   Expected: 确认批处理作业进程存在，并看到大量连接拒绝日志。

2. 检查 PostgreSQL 当前活跃连接和等待事件

   psql -h postgres-primary -U postgres -c "SELECT pid, query_start, state, wait_event_type, query FROM pg_stat_activity WHERE state != 'idle' ORDER BY query_start LIMIT 20;"

   Copy

   Expected: 看到大量来自 payment-svc 的查询处于 active 状态，可能都是批处理作业的查询。

3. 检查批处理作业的查询是否长时间运行

   psql -h postgres-primary -U postgres -c "SELECT pid, now() - query_start AS duration, query FROM pg_stat_activity WHERE state = 'active' AND query NOT LIKE '%pg_stat_activity%' ORDER BY duration DESC LIMIT 10;"

   Copy

   Expected: 批处理作业的查询运行时间很长，可能未优化。

4. 检查 payment-svc 部署的变更内容

   kubectl rollout history deployment/payment-svc -n prod | tail -5; kubectl diff -f /tmp/v2.41-manifest.yaml 2>/dev/null || echo 'no diff available'

   Copy

   Expected: 确认 v2.41 新增了批处理作业配置。

Mitigation plan

• 立即回滚 payment-svc 到 v2.40，移除批处理作业。

  Risk: 回滚期间可能有短暂连接中断，但比当前故障影响小。

  Rollback: 重新部署 v2.41（但需先修复连接池问题）。

• 临时增加 PostgreSQL 最大连接数到 1000，并重启数据库以应用配置。

  Risk: 增加连接数可能导致内存压力，但可快速恢复服务。重启会导致短暂不可用。

  Rollback: 恢复 max_connections 到 500 并重启。

• 在 payment-svc 中限制批处理作业的并发连接数，例如使用连接池上限。

  Risk: 需要代码变更，无法立即生效。

  Rollback: 回滚代码变更。

Customer impact

用户无法完成结账，支付失败。影响所有尝试结账的用户，CS 队列正在积压。预计在回滚后 5 分钟内恢复。

Postmortem draft

Follow-ups

• P0为 payment-svc 添加连接池限制，防止单个作业耗尽连接。— service owner
• P1增加数据库连接数监控和告警，接近上限时预警。— platform team
• P1审查 v2.41 的变更流程，确保批处理作业经过性能测试。— service owner
• P2在部署流水线中添加连接池压力测试步骤。— platform team