[Eval][v2][zh] Payment service connection pool exhaustion after batch job deploy

Summary

Severity reasoning: 用户可见的结账失败（错误率 >1% 超过5分钟），且影响收入链路，符合 SEV1 标准。

deepseek-chat·prompt v2·output: zh·11741ms

Root cause hypotheses

• highpayment-svc v2.41 新增的定时任务（SELECT * FROM ledger_entries WHERE status='pending'）每30秒执行一次，全表扫描12M行，每次耗时约2.4秒，占用了大量数据库连接，导致连接池耗尽。

  Evidence: 慢查询日志显示该查询每30秒运行一次，无索引；active_connections 达到500上限；应用日志报 'too many clients already'。

• medium数据库连接泄漏：应用代码未正确关闭连接，导致连接数持续增长。

  Evidence: 连接数稳定在500上限，未观察到持续增长趋势；但需进一步检查连接池配置。

• low突发流量导致连接数激增，但数据库 CPU 正常，排除流量突增。

  Evidence: CPU 仅35%，无流量峰值迹象；错误率上升与定时任务启动时间吻合。

Investigation checklist

1. 检查 payment-svc 的数据库连接池状态

   kubectl exec -n prod deploy/payment-svc -- curl -s localhost:8080/actuator/metrics/hikaricp.connections.active

   Copy

   Expected: 确认连接数是否接近 max-pool-size（如200），若接近则说明连接池耗尽。

2. 查看 PostgreSQL 当前活跃查询，确认慢查询来源

   SELECT pid, query_start, state, wait_event_type, query FROM pg_stat_activity WHERE state != 'idle' ORDER BY query_start LIMIT 20;

   Copy

   Expected: 应看到多个来自 payment-svc 的 SELECT * FROM ledger_entries WHERE status='pending' 查询，且 query_start 时间相近。

3. 检查 ledger_entries 表的索引情况

   \d+ ledger_entries

   Copy

   Expected: 确认 status 列没有索引，导致全表扫描。

4. 查看 payment-svc v2.41 的部署配置，确认定时任务详情

   kubectl get deploy payment-svc -o yaml | grep -A 10 'cron'

   Copy

   Expected: 应显示 cron 表达式 */30 * * * * 和对应的命令。

5. 检查应用日志中连接拒绝的具体时间戳

   kubectl logs -n prod -l app=payment-svc --since=30m | grep -E 'too many clients|connection refused' | head -20

   Copy

   Expected: 日志时间戳应与慢查询开始时间（13:50 UTC 后）一致。

Mitigation plan

• 立即禁用导致问题的定时任务：通过配置管理或直接删除 cron job，停止全表扫描查询。

  Risk: 禁用后，夜间结算批处理功能将暂时不可用，但可手动触发。无数据丢失风险。

  Rollback: 重新启用定时任务（回滚配置或重新创建 cron job）。

• 临时增加 PostgreSQL max_connections 到 800，并重启数据库（需评估重启影响）。

  Risk: 重启数据库会导致所有连接中断，可能引发短暂不可用。增加连接数可能消耗更多内存。

  Rollback: 将 max_connections 改回 500 并重启。

• 为 ledger_entries.status 列创建索引，以加速查询。

  Risk: 创建索引期间会锁表，可能导致写入阻塞。建议在低峰期或使用 CONCURRENTLY。

  Rollback: 删除索引：DROP INDEX IF EXISTS idx_ledger_entries_status;

Customer impact

部分用户无法完成结账，收到 HTTP 500 错误。受影响用户比例约12%，预计在禁用定时任务后5分钟内恢复。

Postmortem draft

Follow-ups

• P0为 ledger_entries.status 列创建索引— 数据库管理员
• P1审查 payment-svc v2.41 的代码变更，确保定时任务有性能测试— 支付服务开发团队
• P1添加数据库连接池使用率告警（>80%）— 可观测性团队
• P2更新部署流程，要求新增定时任务必须经过性能审查— 平台工程团队
• P2在 postmortem 中补充完整时间线和影响范围— 值班 SRE