马来西亚服务器上的数据库查询变慢,如何通过日志定位耗时语句?

发布人:A5数据发布时间:2026-11-15 11:52阅读量:22

数据库查询变慢时,先不要急着改索引或重启服务。运维排查通常从应用请求和服务器资源开始,再用数据库慢查询日志确认具体语句,最后结合执行计划、锁等待和时间线判断原因。马来西亚服务器的应用、操作系统和数据库日志可能分别使用 UTC+8 或 UTC;先统一时间口径,才能避免把不同请求或不同故障阶段误认为同一事件。

定位耗时语句的关键,是把“某个请求变慢”逐步缩小到“某类 SQL 在什么时间、由哪个库和账号执行、耗时主要发生在哪个环节”。慢查询日志适合找出超过阈值的语句,应用日志负责补充请求上下文,数据库状态和执行计划则帮助区分扫描过多、锁等待、资源争用与网络延迟。

先确认慢在哪里

排查前先选定一个明确的时间窗口,例如从业务监控发现延迟上升的前后各 5 分钟。记录受影响的接口或任务、发生频率、持续时间,以及慢的是单条请求还是整体数据库操作。不要只依据“页面打开慢”判断数据库变慢:应用排队、连接池耗尽、跨机房往返和外部依赖也会拉长响应时间。

建议先整理以下信息:

  • 时间范围:记录带时区的起止时间,例如 2025-03-08T14:20:00+08:00。
  • 业务表现:接口响应时间、错误率、请求量,以及延迟上升的是平均值还是 P95、P99。
  • 请求线索:请求 ID、接口名、应用实例、数据库名和数据库连接账号。日志中不要为了排查而扩散用户密码、令牌或完整敏感参数。
  • 影响范围:是单个接口、单个租户、某一类 SQL,还是所有数据库请求都变慢。

同一时间窗口内,如果只有一个接口变慢而其他接口正常,应优先比对该接口调用的 SQL 和依赖;如果大量接口同时变慢,再检查数据库负载、连接和存储资源。这个判断能减少无关日志的噪声。

由外到内排查

1. 先看应用请求日志和连接池

应用日志通常比数据库日志更容易关联业务请求。先找出响应时间异常的请求,再看应用是否记录了数据库调用耗时、SQL 指纹、连接池等待时间和请求 ID。SQL 指纹是去除具体参数后的语句形态,例如将不同用户 ID 归并为同一种查询,便于识别重复出现的慢 SQL,同时减少敏感值暴露。

如果使用 Nginx,访问日志中可关注请求总耗时和上游耗时,例如 request_time、upstream_response_time;具体字段取决于当前日志格式。如果请求总耗时高,但上游耗时短,问题可能出在客户端连接、应用前置处理或响应发送;如果上游耗时也高,再结合应用日志判断耗时是在应用计算、等待连接,还是数据库调用。

应用侧常见的分支判断如下:

由外到内排查|1. 先看应用请求日志和连接池配图

  • 连接池等待显著上升,SQL 执行耗时没有同步上升:可能是连接池容量不足、连接未及时归还,或数据库连接数接近限制。先核实连接池活跃数、空闲数和等待队列,不要直接扩大连接池;连接数增加可能使数据库承受更高并发。
  • SQL 调用耗时上升,接口其他阶段正常:继续从数据库日志查语句、时间和账号。
  • 数据库调用耗时正常,但请求仍慢:回查应用其他阶段、缓存、外部服务和网络路径。慢查询日志无法解释没有进入数据库的等待。

如果应用没有 SQL 耗时指标,先从已有访问日志和追踪记录确定可疑接口及时间范围,再按下面的方法查数据库。长期看,为数据库调用记录耗时、SQL 指纹、库名和请求 ID,比仅记录完整 SQL 更利于定位,也更便于控制敏感数据。

2. 核对马来西亚服务器上的时间口径

马来西亚常用 UTC+8,但服务器、容器、应用和数据库不一定都按本地时间写日志。不能看到 14:20 就默认它表示马来西亚时间:有的日志用 UTC,有的按系统本地时区,有的数据库日志会使用自己的时间戳格式。

在 Linux 主机上先查看系统时间和时区:

date -Ins
timedatectl

date -Ins 显示带偏移量的当前时间;timedatectl 可查看系统时区和同步状态。若系统时间未同步或时区与预期不一致,先确认业务日志和数据库日志分别采用什么时间口径,再做换算。不要仅为了排查临时修改生产服务器时区,否则可能影响日志、定时任务和依赖本地时间的程序。

数据库侧可查看时区变量:

SELECT
  @@global.time_zone AS global_time_zone,
  @@session.time_zone AS session_time_zone,
  NOW() AS session_now,
  UTC_TIMESTAMP() AS utc_now;

结果用于判断数据库会话时间和 UTC 时间的差异。SYSTEM 表示数据库使用操作系统时区;应用连接也可能设置自己的会话时区,因此应以实际连接的会话结果为准。

时间统一后,按“应用请求开始—应用记录的 SQL 调用—慢查询日志时间—主机资源变化”排列事件。若应用记录 14:20:12+08:00,而数据库日志时间使用 UTC,应先将其换成同一时区再比较。建议始终保留原始时间和时区偏移,避免只保存换算后的时间导致后续无法复核。

3. 找到慢查询日志的位置和设置

MySQL 与 MariaDB 的变量、版本行为及托管平台设置可能不同。不要先猜测日志路径,先从当前实例读取配置:

SHOW GLOBAL VARIABLES
WHERE Variable_name IN (
  'slow_query_log',
  'slow_query_log_file',
  'long_query_time',
  'log_output',
  'log_timestamps',
  'min_examined_row_limit'
);

重点看:

  • slow_query_log:慢查询日志是否开启。
  • slow_query_log_file:日志文件路径;托管数据库可能不提供主机文件访问权限。
  • long_query_time:记录语句的耗时阈值,通常以秒为单位。
  • log_output:日志写入 FILE、TABLE 或两者,具体支持方式与版本有关。
  • log_timestamps:若当前版本提供,用于了解文件日志的时间戳口径。
  • min_examined_row_limit:是否设置了扫描行数门槛;门槛过高可能漏掉耗时但扫描行数不多的语句。

再查看数据库服务状态计数:

SHOW GLOBAL STATUS LIKE 'Slow_queries';

Slow_queries 可帮助判断服务运行期间慢查询计数是否增加,但它不是完整日志,也不能单独告诉你是哪条语句变慢。计数的统计区间可能从启动或状态重置开始,需结合监控采样时间理解。

如果有权限访问数据库主机,可用下列命令查看日志末尾;将路径替换为上一步查询得到的实际路径:

sudo tail -n 100 /实际路径/slow-query.log

若数据库运行在托管平台,通常应在控制台或日志服务中查看慢查询日志,并核对平台是否对日志字段、保留时间或导出方式作了限制。

4. 读懂慢查询日志中的字段

常见慢查询记录会包含执行时间、锁时间、返回行数和扫描行数。不同版本格式可能略有差异,以下示例用于说明字段含义,不代表某台服务器的实测结果:

# Time: 2025-03-08T06:20:12.000000Z
# User@Host: app_user[app_user] @ 10.0.1.12 []
# Query_time: 2.430000  Lock_time: 0.001000
# Rows_sent: 20  Rows_examined: 185000
SELECT id, status FROM orders WHERE account_id = 12345;
  • 时间戳:语句记录时间。先确认时区,再与应用请求和系统监控对齐。
  • User@Host:数据库账号及连接来源,可用于区分应用实例或任务来源;来源信息可能因代理、容器网络或托管平台而与应用真实地址不同。
  • Query_time:数据库记录的语句耗时,是定位慢语句的核心字段,但不等同于用户端完整请求时间。
  • Lock_time:日志记录的锁相关时间。它不能覆盖所有类型的等待,更不能单独证明“没有锁问题”。
  • Rows_sent:返回给客户端的行数。
  • Rows_examined:执行过程中检查的行数。若扫描量远大于返回量,是需要进一步检查索引和过滤条件的信号,但仍需结合表大小和执行计划判断。

例如,若某条查询返回 20 行却检查了 185,000 行,可能存在选择性不足、索引未命中或条件写法妨碍索引使用;若扫描和返回行数接近,却仍耗时较长,则还要看锁等待、磁盘读写、并发和执行计划。不能只凭一个字段直接决定加索引。

由外到内排查|4. 读懂慢查询日志中的字段配图

慢查询日志通常只记录超过阈值的语句,因此没有日志不等于数据库没有变慢:阈值可能过高、日志未开启、日志输出位置不对,或问题发生在连接等待、网络往返和应用层。还应确认是否存在扫描行数门槛,以及日志采集平台是否有延迟或丢弃。

5. 安全地调整采集阈值

如果慢查询日志未开启,或阈值高于当前需要观察的耗时,可以在确认权限、磁盘空间和日志保留策略后,短时间启用或调整。以下仅适用于支持这些动态变量的 MySQL 环境;MariaDB、托管数据库和不同版本的配置方式可能不同。先记录原值,并确认日志文件所在分区有足够空间:

SHOW GLOBAL VARIABLES
WHERE Variable_name IN (
  'slow_query_log',
  'long_query_time',
  'log_output'
);

确认平台允许动态修改且已做好容量与敏感数据评估后,可临时设置,例如:

SET GLOBAL slow_query_log = ON;
SET GLOBAL long_query_time = 1;
SET GLOBAL log_output = 'FILE';

这里的 1 秒仅是示例阈值,不适用于所有工作负载。对延迟要求较高的业务,阈值可更低;但阈值越低,日志量和敏感 SQL 值暴露的风险也越高。SET GLOBAL 通常只改变全局默认值,已经建立的连接可能继续使用自己的会话值;是否需要新连接才能按新阈值记录,应结合数据库版本和会话变量核实。

生产环境不建议为“看看有没有慢查询”而直接开启记录未使用索引的全部语句,这类日志可能迅速增长。短时采集也应设置观察时长、安排日志清理与保留,并限制日志文件的访问权限。日志可能包含业务参数或个人信息,应按生产数据管理要求存放和传递。

确认采集完成后,将变量恢复为最初记录的值。例如,若原先关闭了日志,就应恢复关闭状态;若阈值和输出方式原本不同,也应恢复对应原值。此类运行时设置未必在重启后保留,但不能因此忽略恢复:日志过量可能占满磁盘,进而影响数据库服务。

把语句与请求时间线关联起来

慢查询日志一般没有应用请求 ID。关联时,至少同时比对时间、SQL 指纹、数据库名、账号和来源主机;如果应用侧有连接 ID 或追踪信息,也可以一并核对。时间精度不够时,不要仅凭“同一分钟有一条慢 SQL”就认定它对应某个请求,尤其是在高并发环境中。

可以按以下顺序整理时间线:

把语句与请求时间线关联起来配图

  1. 从应用访问日志找出变慢请求的开始时间、结束时间和请求 ID。
  2. 查该请求调用数据库的时间段、数据库连接等待时间和 SQL 指纹。
  3. 在统一时区后的慢查询日志中找相同指纹,并比对账号、库名、来源和耗时。
  4. 对照该时间段的数据库连接数、CPU、磁盘延迟和锁等待指标。
  5. 检查其他请求是否也出现同一指纹,判断问题是单次异常还是持续性热点。

如果应用日志只有请求耗时,没有数据库调用耗时,关联精度会较低;若数据库日志中同一语句在相近时间反复出现,仍可判断它是候选热点,但不应假定每条记录都属于同一个业务请求。后续可在应用侧补充 SQL 指纹与调用耗时,避免把完整参数写入普通日志。

结果分支:先判断是哪一类慢

扫描行数明显偏高

如果 Rows_examined 远大于 Rows_sent,先用只读执行计划核对索引和访问路径。对实际慢 SQL 做 EXPLAIN,并尽可能使用与生产一致的参数、表结构和数据分布:

EXPLAIN
SELECT id, status
FROM orders
WHERE account_id = 12345;

重点看访问类型、可能使用的索引、实际选中的索引、估算行数和过滤条件。全表扫描并非必然错误:表很小、查询需要读取大部分数据时,扫描可能是合理选择。反过来,即便计划显示使用索引,索引选择性差或需要回表大量读取,查询也可能很慢。

若怀疑索引缺失或条件写法导致无法有效使用索引,先在测试环境用代表性数据验证查询计划和读写影响。生产加索引属于数据库变更,可能消耗 CPU、I/O 和额外磁盘空间,也可能引发锁等待或元数据锁。实施前确认备份可用、维护窗口和数据库版本支持的在线 DDL 行为,并准备按变更流程撤销;不要未经评估直接执行 ALTER TABLE。

扫描行数不高,但耗时仍高

这种情况应继续检查资源争用、锁等待、磁盘和并发,而不是只盯着索引。相同 SQL 在数据库负载低时快、负载高时慢,可能说明执行资源受到竞争;应用日志中连接池等待上升,则更可能是连接争用或连接管理问题。

可在 Linux 主机上查看基础资源,命令本身只读取状态:

uptime
free -h
df -h
vmstat 1 5

uptime 显示系统负载概况;free -h 查看内存与交换空间;df -h 检查文件系统余量;vmstat 1 5 每秒采样一次、连续输出 5 次,可观察运行队列、交换和 I/O 等指标。单次输出只能说明采样时点,需和慢查询时间窗口对照。

如果已安装 iostat,还可查看设备延迟和利用率:

iostat -xz 1 5

若命令不存在,不要仅为排查随意在生产主机安装软件;可使用现有监控平台或按运维变更流程安装。磁盘繁忙、内存压力、持续交换或 CPU 饱和都可能放大数据库耗时,但它们不是某条 SQL 根因的直接证明,仍需与同一时间段的语句和数据库状态对照。

锁等待、死锁或并发阻塞

如果多个语句在相近时间变慢,或应用出现锁等待超时、死锁记录,应查看数据库提供的锁等待与事务信息。MySQL 8 可检查 performance_schema 中的等待相关数据;具体表和字段依版本及采集配置而异。先核对实例版本、相关表是否存在,以及账号是否有读取权限。

不要为了验证锁问题直接终止生产会话。终止连接可能回滚事务、释放锁,也可能导致业务请求失败和额外 I/O。先记录事务开始时间、账号、来源、当前语句和阻塞关系,由业务负责人确认后按变更流程处理。若根因是长事务或事务范围过大,应在应用侧评估缩短事务、及时提交或调整并发方式;修正后仍要观察锁等待是否下降。

数据库日志看起来快,用户请求仍然慢

慢查询日志中的语句耗时不等于用户从马来西亚客户端看到的完整响应时间。客户端到应用、应用到数据库之间的网络往返、DNS、TLS、连接建立、连接池排队、结果集传输和应用后处理,都可能增加端到端耗时。若应用与数据库部署在不同机房或网络区域,往返延迟尤其值得核对;不能仅凭服务器地理位置推断实际链路质量。

可对比同一请求的端到端耗时、应用内数据库调用耗时和数据库慢查询耗时。若数据库语句执行很短,而应用记录的调用耗时明显更长,优先检查连接池等待、连接建立、结果集大小和网络链路。ping 无响应也不一定代表业务链路故障,因为 ICMP 可能被限制;应使用应用指标或经批准的 TCP 连通性监控判断。

针对马来西亚业务中的数据库与应用部署,A5idc数据提供吉隆坡等地区的物理服务器资源,涵盖不同CPU、存储配置以及优化线路、国际线路方案,可为数据库服务、业务后台和数据处理提供相应的硬件与网络部署选择,适配不同的数据规模和运行负载。

使用摘要数据找出反复出现的热点

慢查询日志适合按时间看具体记录;若要识别反复执行、累计耗时较高的语句,可查看 performance_schema 的语句摘要。MySQL 版本、权限和采集设置会影响表与字段是否可用;执行前先确认表存在,并将结果视为统计窗口内的汇总,而不是逐请求时间线。

在支持相应字段的 MySQL 环境中,可用以下查询按累计等待时间查看常见语句形态:

SELECT
  SCHEMA_NAME,
  DIGEST_TEXT,
  COUNT_STAR,
  ROUND(SUM_TIMER_WAIT / 1000000000000, 2) AS total_seconds,
  ROUND(AVG_TIMER_WAIT / 1000000000000, 4) AS avg_seconds,
  SUM_ROWS_EXAMINED,
  SUM_ROWS_SENT
FROM performance_schema.events_statements_summary_by_digest
WHERE DIGEST IS NOT NULL
ORDER BY SUM_TIMER_WAIT DESC
LIMIT 20;

这里的计时器单位在相应 MySQL 实现中为皮秒,除以 1,000,000,000,000 后换算为秒。查询结果中的累计耗时高,可能是单次很慢,也可能是执行次数很多;应同时看 COUNT_STAR、平均耗时、最大耗时(如果当前表提供该字段)和扫描行数。摘要表是聚合数据,统计范围取决于服务器运行时间及是否发生重置,不能直接用来证明某条记录对应某个请求。

如果 performance_schema 未启用、摘要表为空或字段不匹配,先核对版本和配置,不要为了临时排查直接重启数据库或清空统计数据。清空或重置摘要会丢失既有观察基线;若确需调整采集,应先保存当前状态并评估对实例的影响。

复测与持续观察

完成索引、SQL、事务或连接池调整后,按相同业务路径复测,不要只看一次请求。比较变更前后的 P95/P99、数据库调用耗时、慢查询条数、扫描行数、连接池等待和数据库资源使用情况,并保持相同时间窗口、相近流量及相同参数类型。若流量差异明显,单纯比较平均耗时可能得出错误结论。

复测时重点确认三件事:原来的慢 SQL 是否减少或降时;是否出现新的慢查询、锁等待或错误;CPU、内存、磁盘和连接数是否因调整而恶化。若只是阈值调整后日志变多,而业务延迟没有改善,说明采集变化不等于性能改善。

将排查得到的 SQL 指纹、日志时间口径、数据库版本、关键监控指标和变更结果记录下来,但避免长期保存不必要的完整敏感参数。后续持续观察同一类指标,确认问题没有在高峰、批处理或流量变化时复发。这样才能把“某次看起来慢”转化为可验证的原因与修复结果。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9551.html

相关推荐