[Eval][v2][zh] Payment service connection pool exhaustion after batch job deploy

Summary

Severity reasoning: 用户可见的结账失败（错误率 > 1% 超过5分钟），且影响收入路径，符合 SEV1 标准。

deepseek-chat·prompt v2·output: zh·10220ms·2150↑ / 1522↓ tok·$0.00225

Root cause hypotheses

• highpayment-svc v2.41 新增的定时任务（SELECT * FROM ledger_entries WHERE status='pending'）每30秒执行一次，因缺少索引导致全表扫描（约12M行，耗时2.4秒），阻塞连接池，耗尽 max_connections。

  Evidence: 应用日志显示 'too many clients already'；慢查询日志显示该查询每30秒运行一次，耗时2.4秒；部署时间与问题开始时间吻合。

• medium数据库连接泄漏：应用代码未正确关闭连接，导致连接数持续增长。

  Evidence: active_connections 达到 500 上限，但 CPU 仅 35%，表明连接被占用而非计算密集。

• low网络问题导致 payment-svc 到数据库的连接中断或延迟。

  Evidence: 应用日志出现 'connection refused'，但数据库本身运行正常（CPU 35%），且无网络告警。

Investigation checklist

1. 检查数据库当前连接数和等待查询

   SELECT count(*) FROM pg_stat_activity WHERE state != 'idle'; SELECT count(*) FROM pg_stat_activity WHERE wait_event_type IS NOT NULL;

   Copy

   Expected: 确认连接数接近 500，等待查询数 > 0。

2. 查看慢查询日志，确认全表扫描查询

   SELECT pid, query_start, now() - query_start AS duration, query FROM pg_stat_activity WHERE state = 'active' AND query NOT LIKE '%pg_stat%' ORDER BY query_start DESC LIMIT 10;

   Copy

   Expected: 看到 SELECT * FROM ledger_entries WHERE status='pending' 查询持续运行。

3. 检查 payment-svc 部署版本和变更

   kubectl rollout history deployment/payment-svc -n prod | tail -5

   Copy

   Expected: 确认最新版本为 v2.41，部署时间约 13:50 UTC。

4. 检查 payment-svc 日志中的连接错误

   kubectl logs -n prod -l app=payment-svc --since=15m | grep -E 'too many clients|connection refused' | head -20

   Copy

   Expected: 看到大量连接拒绝错误。

5. 检查数据库 max_connections 设置

   SHOW max_connections;

   Copy

   Expected: 显示 500。

Mitigation plan

• 立即禁用导致问题的定时任务：通过配置管理或直接删除 cron 条目，阻止新查询执行。

  Risk: 禁用后结算批处理暂停，但可手动触发。无数据丢失风险。

  Rollback: 重新启用定时任务（恢复配置或重新添加 cron）。

• 临时增加数据库 max_connections 到 1000，并重启连接池以释放部分连接。

  Risk: 增加连接数可能导致数据库内存压力，但当前 CPU 低，风险可控。

  Rollback: 将 max_connections 改回 500 并重启数据库。

• 如果连接仍无法释放，强制终止阻塞查询：

  Risk: 终止查询可能导致事务回滚，但无数据损坏。

  Rollback: 无回滚，但可重新执行查询。

Customer impact

部分用户无法完成结账，收到 500 错误。影响范围约为总用户的 12%（基于错误率）。预计在修复后 5 分钟内恢复。

Postmortem draft

Follow-ups

• P0为 ledger_entries.status 添加索引，防止全表扫描— 数据库团队
• P0审查 payment-svc v2.41 的变更，确保定时任务有适当的并发控制和连接管理— payment-svc 服务所有者
• P1添加数据库连接池监控告警（连接使用率 > 80%）— 可观测性团队
• P1更新部署流程，要求所有新查询在预发环境进行性能测试— 平台工程团队
• P2编写 runbook 处理数据库连接耗尽场景— SRE 值班团队