排查日本服务器上的数据库死锁,如何区分应用等待时间与数据库执行耗时?

发布人:A5数据发布时间:2026-11-17 10:41阅读量:1

同一时段里,业务请求耗时上升、数据库连接池等待变长、死锁告警增加,并不必然说明数据库“执行变慢”。在日本服务器上排查时,用户到应用、应用到数据库的网络路径,连接池排队、数据库锁等待以及应用侧重试,都可能进入用户感知的总耗时。关键是把这些信号放到同一条请求链路和一致的时间窗口里,区分等待发生在哪里,再判断死锁是直接原因、放大因素,还是与性能波动同时出现的另一件事。

先拆开一次请求的耗时

一次请求从应用收到任务到返回结果,可能经历应用内部处理、获取数据库连接、发送 SQL、数据库处理和返回结果等阶段。建议先定义统一的耗时口径:

请求总耗时 ≈ 应用内部处理 + 连接池等待 + 数据库调用耗时 + 其他外部调用与响应处理

其中,“数据库调用耗时”通常是应用进程测得的客户端时长,可能包含驱动处理、网络往返、数据库排队、锁等待、SQL执行和结果传输;它不一定等于数据库日志中的语句耗时。应用监控若只记录一个“SQL耗时”,却没有说明计时从何时开始、何时结束,也没有单独记录连接获取时间,就很难判断耗时究竟落在哪一段。

数据库侧的语句耗时也有自己的口径。例如,数据库可能记录语句从开始处理到结束的时间,其中包含等待锁的时间;它通常不包含应用在连接池里排队的时间。客户端与数据库端的测量差值,可能包含网络往返、驱动与协议开销、排队差异以及统计口径不一致,不能直接全部归因于网络。

应用端最好分别记录以下阶段,而不是只留一个SQL span:

先拆开一次请求的耗时配图

观测项通常说明什么不能单独证明什么
请求总耗时用户请求在应用侧经历的整体时间不能直接定位数据库或网络
获取连接耗时等待连接池分配连接的时间连接池等待不等于数据库锁等待
SQL客户端耗时从应用发起数据库调用到获得结果的时间不等于纯数据库执行时间
数据库语句耗时数据库侧记录的语句处理时间不能包含应用连接池排队
锁等待时长事务因锁冲突而等待的时间有等待不代表发生了死锁
重试次数与耗时失败后重新执行带来的额外工作不能仅凭重试确认最初的失败原因

这些数据需要按请求、数据库调用和事务尝试分别统计。若一个请求触发三次事务尝试,把三次SQL耗时合成一个数字,就会掩盖“第一次快速死锁、随后重试等待很久”这类情况。

建立可以互相对照的观察窗口

排查前先固定时间范围,例如以某条慢请求发生前后各两分钟作为观察窗口,再把应用、数据库和告警里的事件对齐。窗口过宽容易把无关波动混进来;只截取告警那一秒,则可能看不到事务开始、阻塞形成和重试的先后关系。

至少要能关联以下信息:

  • 请求或追踪标识、应用实例、数据库实例、SQL调用名称。
  • 事务尝试序号、开始与结束时间、成功或失败状态。
  • 数据库连接获取时间、客户端调用时间、返回的错误码。
  • 数据库侧的死锁记录、语句日志或锁等待采样。
  • 同一窗口内的连接池活跃数、等待数、超时数和数据库连接数。

追踪标识通常不会自动出现在数据库日志里。可以通过应用日志记录“追踪标识—事务尝试—SQL调用—数据库连接”的对应关系,再以时间、连接标识和SQL摘要辅助匹配。若采用SQL注释传递标识,应先评估驱动兼容性、SQL规范化和日志暴露风险;不要把用户输入或敏感业务数据直接写进SQL注释,也不要为了关联而让每条SQL都生成高基数指标标签。

日本服务器环境还需要注意时钟和地域路径。应用与数据库日志可以统一以UTC保存、在展示层转换为当地时间,但不能只把带不同时区的时间字符串直接拼在一起。跨机器比较事件先后时,应确认主机时钟同步情况;测量单个进程内的持续时间,则优先使用单调时钟,而不是依赖可能被校时调整的墙上时钟。

如果应用部署在日本、数据库在其他地区,应用到数据库的往返时延可能明显高于同机房部署;如果应用与数据库都在日本,而用户在其他地区,用户到应用的网络耗时仍可能增加,但它不等于数据库调用耗时。应分别查看客户端到应用、应用到数据库的路径,不要用“日本服务器网络慢”概括所有延迟。

在需要进一步组织应用与数据库运行环境时,A5idc数据提供日本东京等地区的物理服务器,并覆盖香港、美国、韩国、中国台湾、新加坡和马来西亚等节点,可结合访问地区、应用与数据库的部署位置及线路需求安排资源。不同方案提供相应的CPU、内存、SSD/NVMe和网络选项,也可配合企业网络专线连接站点与业务系统,便于将区域路径与服务端耗时分开观察。

看指标的变化顺序,而不只看峰值

死锁一般发生在多个事务以不兼容的顺序持有并请求锁时。数据库检测到循环等待后,会选择一个事务作为牺牲者并回滚。它与普通锁等待、锁等待超时不是同一事件:普通等待可能最终成功;超时表示等待超过设置的限制;死锁则是数据库识别到等待环并终止其中一个事务。

因此,排查时要区分以下信号:

  • 死锁错误数上升:说明有事务被数据库以死锁错误中止,但不直接说明所有慢请求都由死锁造成。
  • 锁等待时间或等待事务数上升:说明事务竞争加重,可能在死锁形成前或无死锁情况下出现。
  • 数据库语句耗时上升:说明数据库侧处理变慢,可能是锁等待、执行计划变化、资源竞争或其他因素。
  • 连接池等待上升:说明应用拿不到可用连接;它可能是慢SQL占用连接的结果,也可能来自连接数配置、连接泄漏或突发并发。
  • 应用重试数上升:会放大数据库请求量,也会延长用户请求总耗时;应确认重试针对的是哪些错误,以及每次重试的间隔和次数。

可以把指标按时间序列放在同一面板中观察,但要注意指标聚合粒度。按一分钟汇总的死锁计数,不能与按秒记录的某条请求耗时精确对应;每分钟P99上升,也不能证明恰好由那一分钟中的死锁导致。若要判断先后,应查看单条请求和数据库事件日志,或使用足够细的时间粒度。

一个有用的顺序判断是:先看慢请求是否增加,再看连接池等待、客户端SQL耗时、数据库语句耗时和锁等待是否同步变化,最后对照死锁错误及重试发生的时间。若连接池等待先增加,而数据库语句耗时和锁等待保持平稳,优先检查连接池和应用并发;若锁等待先增加,随后语句耗时、连接占用和连接池排队都上升,锁竞争可能是后续拥塞的重要因素;若请求变慢但数据库侧耗时稳定,则需要进一步检查应用内部阶段、客户端网络或其他依赖。

看指标的变化顺序,而不只看峰值配图

这只是形成假设的顺序,不是仅凭时间先后认定因果。比如数据库负载上升可能同时造成SQL变慢和应用排队;此时连接池等待是并发拥塞的表现,而不是独立根因。还需要结合事务锁关系、执行计划、重试记录和复测结果验证。

用一组模拟数据判断慢在哪里

下面是一组用于说明分析方法的示例数据,并非实测结果。某条请求在日本应用实例上总耗时为1.80秒,分阶段记录如下:

阶段示例耗时
连接池等待0.62秒
应用测得的数据库调用0.77秒
应用内部处理、序列化及其他阶段0.41秒
请求总耗时1.80秒

数据库日志中,与该请求的某次SQL调用相近的语句处理时间为0.19秒;锁等待采样显示其中约0.11秒处于锁等待。若这两项来自同一数据库侧计时口径,则其余约0.08秒可作为非锁等待处理时间的粗略参考。这个分解支持“数据库调用中存在锁等待”,但客户端调用0.77秒与数据库侧0.19秒之间的差值,不能直接全部记作网络耗时;客户端与服务端的计时边界、连接使用情况和结果传输都会影响差值。

同时观察到,窗口内连接池等待请求增加、死锁错误出现,且部分失败事务会重试。如果重试请求在同一个用户请求中串行执行,用户看到的总耗时就可能由首次失败、等待重试和再次执行共同构成。但要确认这一点,需要看到同一请求的尝试序号、错误码和每次耗时,而不能把窗口内的死锁计数直接归到某条慢请求上。

对照另一种结果:如果请求总耗时从约0.5秒升至1.8秒,连接池等待为1.1秒,客户端SQL调用为0.2秒,数据库语句耗时仍约0.1秒,且没有锁等待或死锁错误,那么当前证据更支持连接池排队或连接获取阶段耗时增加,而不支持“数据库执行变慢”。此时应查看连接池活跃连接、等待队列、连接创建失败和应用并发,而不是先调整数据库锁超时。

用一组模拟数据判断慢在哪里配图

还要防止平均值掩盖尾部问题。平均SQL耗时可能基本不变,但P95、P99显著上升,说明少数请求遇到长等待或重试。建议同时观察调用量、错误数、P50/P95/P99和超时率;比较前后窗口时,尽量选择业务量和请求类型相近的时段。对于业务流量变化明显的情况,还可以同时看单位请求的死锁率、重试率和锁等待分布,而不只看绝对次数。

把应用链路与数据库证据连起来

应用追踪能说明某条请求在哪个阶段耗时,数据库记录能说明服务器端发生了什么。两边应相互补充,而不是互相替代。

把应用链路与数据库证据连起来配图

在应用侧,确认追踪中的数据库 span 是否覆盖获取连接。如果span在取到连接后才开始,它不会显示连接池等待;如果span从调用ORM开始,里面可能包含连接获取、驱动操作和SQL往返。查看埋点定义比单纯比较span名称更可靠。还应确认SQL重试是否被表现为多个子span,还是被合并成一次调用。

在数据库侧,重点查看死锁详情中的事务、涉及表和索引、持有锁与请求锁、受影响语句及事务开始时间。死锁记录往往只保留最近一次或有限数量的事件,采集频率和日志配置也会影响可见性。数据库提供的死锁报告是分析等待环的重要证据,但它本身不能说明该请求在应用端等待了多久,也不能解释连接池里是否曾排队。

对使用MySQL的环境,可在确认版本和权限后使用只读诊断信息,例如检查InnoDB的最近死锁详情,并结合错误日志和性能监控数据。SHOW ENGINE INNODB STATUS 可以提供当前保留的InnoDB状态信息,其中可能包含最近的死锁报告;它不是完整的历史死锁档案,若要分析长期趋势,需要在符合容量和隐私要求的前提下采集相关错误日志或监控指标。MySQL 8.0环境还可结合Performance Schema中的锁等待信息;具体表和可见字段应以当前版本为准。

对使用PostgreSQL的环境,可查看活动会话的等待类型、等待事件和阻塞关系。下面的只读查询可帮助观察当前仍在等待锁的会话;它只能呈现查询时刻的状态,已经结束的死锁需要从数据库日志中查找:

SELECT
    a.pid,
    a.application_name,
    a.state,
    a.wait_event_type,
    a.wait_event,
    pg_blocking_pids(a.pid) AS blocking_pids,
    now() - a.query_start AS query_age,
    a.query
FROM pg_stat_activity AS a
WHERE a.wait_event_type = 'Lock'
  AND a.pid <> pg_backend_pid();

pg_stat_activity显示的是活动会话快照。若死锁已被检测并结束,查询执行时可能已经看不到相关等待者,因此需要把快照监控与日志结合。PostgreSQL的死锁错误通常会记录等待环涉及的信息,但日志是否保留SQL文本、详细程度以及日志负载应按环境配置检查。记录完整SQL可能涉及敏感参数或业务数据,应按访问控制与保留期限管理。

排查时不要因为数据库日志中出现某条慢SQL,就直接认定它是死锁源头。要核对它与应用span的时间、数据库连接、事务尝试和SQL摘要是否对应;还要区分持锁事务与等待事务。真正形成死锁的事务可能都只执行了很短的语句,但它们在事务期间以不同顺序持有锁,导致等待关系形成。

区分锁等待、死锁与其他等待

以下几类现象容易被统称为“数据库卡住”,但对应的处理方向不同:

现象常见证据优先核对方向
锁等待会话处于锁等待状态,等待结束后可能成功阻塞事务、事务时长、锁范围和并发顺序
死锁数据库返回死锁错误,日志给出相互等待的事务关系事务访问顺序、重试策略和失败事务处理
连接池等待应用等待可用连接,数据库可能仍有余量池内连接使用时长、应用并发和连接释放
查询执行变慢数据库侧语句耗时上升,未必有锁等待执行计划、扫描范围、数据量和资源竞争
应用到数据库调用差值变大客户端时长上升,服务端语句时间相对平稳网络路径、驱动、连接复用、结果传输与计时边界

日本服务器的区域特性可能影响应用到数据库的往返时延,尤其当数据库部署在不同地区时。可以在与业务进程相同的网络环境中观察到数据库的连接建立时间和稳定连接下的往返表现,并对照数据库端的语句时间。临时从管理终端测试到数据库的网络时延,不一定代表应用容器或应用主机的实际路径;测试工具的网络位置、路由和连接复用方式都可能不同。

如果服务端语句耗时稳定,但客户端数据库调用时长显著上升,应先检查两者是否使用相同统计边界,再观察连接是否复用、结果集大小是否变化、应用到数据库的网络是否波动。若数据库调用和服务端语句耗时都上升,且锁等待增加,锁竞争的解释更有支撑;若数据库调用变慢而锁等待平稳,则还要排除执行计划、数据库资源争用、网络和结果传输等因素。

验证原因时同时控制业务与观测口径

形成初步判断后,选择一段业务量、请求类型相近的时间复测。修复或调整前后,保持应用版本、数据库节点、指标粒度和采样方式可比;如果同时更换实例、调整连接池、修改事务逻辑,就难以判断哪个变化带来了结果。

若证据指向事务锁冲突,先从死锁报告中识别参与事务及访问对象,检查事务是否持锁时间过长、是否在持锁期间执行外部调用,以及不同代码路径访问多张表的顺序是否一致。降低事务持锁时间、统一相关访问顺序等措施可能减少冲突,但应先在测试或灰度环境验证并发下的数据正确性。不要只通过提高锁等待超时来“消除”告警:这可能让请求等待更久,却不会移除死锁形成条件;对真正的死锁,数据库仍需要选择事务回滚。

若应用会自动重试,要核对重试是否仅针对可恢复错误、最多重试几次、是否使用有限退避,以及重试操作是否具备幂等性。并非所有写请求都能安全重放。错误码、事务回滚是否完整、请求是否可能已经产生外部副作用,都应纳入设计审查。盲目增加重试次数可能在锁竞争时放大数据库压力,使连接占用和排队进一步恶化。

复测时可比较同类请求的以下变化:死锁错误率、锁等待时长分位数、连接池等待分位数、客户端SQL调用时长、数据库语句耗时、重试次数和请求P95/P99。若死锁减少、锁等待下降,连接池排队和慢请求也随之回落,且事务逻辑仍满足正确性要求,才有较完整的证据支持改动有效。若死锁下降但连接池等待仍高,应继续查找其他连接占用来源;若数据库侧耗时降低但请求总耗时不变,则瓶颈可能已转移到应用或外部依赖。

下次告警应一起查看哪些信号

遇到日本服务器上的数据库慢请求或死锁告警,可以把一次请求的追踪、数据库事务事件和同一时间窗口的资源指标作为一个分析单元。最有用的组合通常不是一张总览仪表盘,而是能回答三个问题的数据:

  1. 请求时间花在哪里:请求总耗时、连接池等待、每次SQL调用、重试和其他依赖调用。
  2. 数据库为什么没有及时返回:数据库语句耗时、锁等待、死锁详情、阻塞关系及事务持续时间。
  3. 关联是否可信:请求标识、数据库连接或会话、事务尝试序号、时间戳及时钟同步状态。

当这些信息可以按同一请求与事务尝试对照时,“应用等连接”“等待数据库返回”“数据库执行中等待锁”和“死锁后重试”就能被分别识别。判断时既看哪些指标同步上升,也看哪些指标没有变化;前者帮助形成解释,后者则用于排除替代原因。只有在日志、指标、链路与业务结果共同支持时,才能把相关性进一步收敛为可验证的故障原因。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9924.html

相关推荐