数据库服务器MongoDB慢查询日志怎么看?如何根据扫描量定位索引问题

发布人:A5数据发布时间:2026-10-23 10:40阅读量:120

MongoDB 响应变慢时,慢查询日志能帮助确认是哪条操作耗时、扫描了多少索引键或文档,以及实际采用了什么执行计划。排查时不要只看 durationMillis:应把日志中的操作时间、命名空间、扫描量和计划摘要,与应用请求及主机负载放到同一时间线上,再用 explain 验证索引判断。

日志字段会随 MongoDB 版本和日志格式有所不同。以下以常见的结构化日志字段为例;字段缺失时,应先确认版本、日志配置和采集方式,不要把字段缺失直接当成“没有慢查询”。

先确认慢在哪里、发生在什么时候

先记录问题出现的时间段、受影响的业务接口、数据库和集合,以及是否只影响某类请求。需要区分“单条查询耗时高”和“同一时间查询量突然增多”:前者可能与索引、数据分布或排序有关,后者也可能是流量变化或连接排队造成的。

MongoDB 慢操作日志通常由慢操作阈值控制。常见部署默认阈值为 100 毫秒,但实际值可能被配置修改;低于阈值的操作不会因为它对业务重要就自动出现在慢查询日志中。查询日志也可能受采样设置影响,因此“没有看到慢日志”不等于“没有慢操作”。

先确认服务版本、日志路径和相关运行参数。下面的命令通过 mongosh 查询当前实例信息,不会修改配置:

db.version()
db.adminCommand({ getCmdLineOpts: 1 })
db.adminCommand({ getParameter: 1, slowms: 1, sampleRate: 1 })

查看 getCmdLineOpts 返回的启动参数和解析后配置,重点确认日志输出位置;慢操作阈值和采样率则以实例返回值为准。如果通过容器、托管服务或集中日志平台运行,日志可能不在本机文件系统中,应在对应平台检查日志出口和保留时间。

常见的慢操作记录可能包含以下信息:

字段或内容排查用途注意事项
ts确定日志时间,和应用、系统指标对齐留意时区;集中采集后还可能存在传输延迟
ns定位数据库和集合,例如 shop.orders有些命令涉及多个集合,不能只依赖单一命名空间
durationMillis查看该操作记录的耗时反映服务端记录的操作时间,不必然等于客户端完整等待时间
command查看命令类型、过滤条件、排序、投影等可能包含业务数据,分享日志前应脱敏
planSummary快速识别计划摘要,例如 COLLSCAN 或 IXSCAN只是摘要,不能代替 explain
keysExamined扫描过的索引键数量索引扫描不等于命中结果,也不直接等于磁盘读取量
docsExamined扫描过的文档数量大于返回量时可能存在较多过滤;需结合查询形态判断
nreturned返回的文档数量字段大小写和结构可能随版本、日志格式变化
cursorExhausted、numYields 等辅助理解游标是否读完、执行中是否让出控制权字段是否出现取决于操作类型和版本

例如,下面是用于说明字段关系的模拟日志,不代表任何实际环境的记录:

{
  "t": { "$date": "2025-03-08T10:15:21.300Z" },
  "c": "COMMAND",
  "s": "I",
  "attr": {
    "ns": "shop.orders",
    "command": {
      "find": "orders",
      "filter": { "tenantId": 42, "status": "open" },
      "sort": { "createdAt": -1 },
      "limit": 50
    },
    "planSummary": "IXSCAN { tenantId: 1 }",
    "keysExamined": 18420,
    "docsExamined": 18420,
    "nreturned": 50,
    "durationMillis": 286
  }
}

这条示例记录说明:查询耗时约 286 毫秒,索引扫描和文档扫描都达到 18,420,而最终只返回 50 条。它提示检查当前索引是否覆盖了过滤条件和排序,但不能仅凭这行日志断定“缺少某个索引”——集合大小、过滤条件选择性、文档结构和并发负载都会影响结果。

按由外到内的顺序排查

1. 先核对日志时间与业务现象

将慢日志时间与应用访问日志、接口耗时、错误率和主机监控对照。最好统一使用 UTC,或在对照时明确转换时区。应用记录的是请求开始、结束时间还是客户端超时,也要确认清楚;客户端耗时可能包含连接池等待、网络往返和应用处理,MongoDB 的 durationMillis 通常不能覆盖这些环节。

先按时间窗筛选,再按命名空间、命令类型和耗时聚类。例如,同一个集合在几分钟内突然出现大量相似查询,和一条孤立慢查询的处理方向不同。若日志采集平台支持按 JSON 字段过滤,优先使用结构化字段筛选;如果只能检索文本,注意格式差异可能导致字段名无法直接匹配。

检查同一时间段是否还出现:

  • CPU 使用率持续升高、磁盘延迟增加、内存压力或交换空间活动;
  • 数据库连接数、请求量或队列等待变化;
  • 应用发布、批处理、索引构建、备份或数据导入;
  • 网络抖动、连接重试或客户端超时。

如果所有集合的响应时间同时变差,不宜先给单个集合加索引;更应检查资源竞争和实例级负载。如果只有一个集合、一个查询形态持续变慢,再进入执行计划和索引分析。

2. 从慢日志提取扫描量和计划摘要

重点看 planSummary、keysExamined、docsExamined 和 nreturned,并把它们放在同一条操作记录中分析。可以使用以下比例作为排查线索:

  • docsExamined / nreturned 明显偏高:服务端检查了较多文档才得到返回结果,可能是过滤条件选择性低、索引不匹配,或查询确实需要读取较多数据。
  • keysExamined / nreturned 明显偏高:索引扫描范围可能过宽,也可能是查询条件或排序无法有效缩小扫描范围。
  • docsExamined 很高、nreturned 很低:检查过滤条件是否有合适索引,以及查询是否一次扫描了远多于业务需要的数据。
  • docsExamined 接近 0、keysExamined 大于 0:可能是索引覆盖查询,或索引先定位候选键后没有取出文档;需要结合 explain 及返回字段确认。
  • planSummary 显示 COLLSCAN:该次操作执行了集合扫描,是检查索引的强烈信号,但不自动等于错误。小集合、低频查询、需要读取大部分文档的操作,集合扫描可能是合理选择。
  • planSummary 显示 IXSCAN:只说明使用了索引,不说明索引适合该查询;扫描数很高时仍可能是低效索引扫描。

比例没有适用于所有业务的统一合格线。比如查询主动读取数千条记录用于导出,即使扫描量和返回量相近,也可能耗时较长;只返回一条记录的点查,如果扫描大量键或文档,则更值得检查。还要注意当 nreturned 为 0 时,比例无法计算,应直接比较扫描量和查询条件。

3. 核对索引定义,再用 explain 验证

在确认问题查询具有代表性后,先读取集合现有索引。下面的读取操作不会修改索引:

db.orders.getIndexes()

检查索引的字段顺序、方向、是否为复合索引,以及查询是否包含额外的过滤、排序和投影。复合索引的字段顺序会影响能否有效支持查询;只看到“字段已经建索引”不足以证明该查询能利用它。还需考虑部分索引、稀疏索引、TTL 索引等属性及其适用条件。

随后对有代表性的查询形态运行执行统计。下面示例用业务条件替换字段和值:

db.orders.explain("executionStats").find(
  { tenantId: 42, status: "open" },
  { tenantId: 1, status: 1, createdAt: 1 }
).sort({ createdAt: -1 }).limit(50)

重点检查:

  • winningPlan:实际选择的计划及其阶段,是否有 COLLSCAN、IXSCAN、排序阶段等;
  • executionStats.nReturned:实际返回数量;
  • executionStats.totalKeysExamined:执行期间扫描的索引键数;
  • executionStats.totalDocsExamined:执行期间检查的文档数;
  • 是否存在内存排序、磁盘使用或分片执行信息(具体字段随版本和计划类型变化)。

executionStats 会执行查询以收集统计信息。生产环境中应选择范围受控、条件具有代表性的查询,避免对宽范围导出或高成本聚合直接运行;必要时先在测试环境验证。explain 的计划评估也不能简单等同于线上每次执行,它通常不会复用计划缓存中的计划,因此要与慢日志中的实际记录一起判断。

如果慢日志显示 IXSCAN,而 explain 仍扫描大量键,应检查索引是否只支持了部分过滤条件、排序字段是否合适、查询是否使用了宽范围条件,以及数据分布是否使该索引选择性较差。若日志与 explain 的计划差异明显,先核对查询形态和参数是否一致,再检查计划缓存、索引变更和数据分布变化。

4. 把时间线扩展到分片、应用和系统层

分片集群中,客户端请求可能经过 mongos,相关执行信息也可能出现在不同节点的日志中。排查时记录请求的时间、集合、查询条件和可用的请求标识,再结合路由信息判断操作落在哪些分片。若一次查询访问多个分片,单看某个节点的日志可能漏掉其他分片的耗时;应结合 explain 的分片统计和各节点同一时间段的日志。

如果应用能为请求设置查询注释或业务请求标识,可在权限和数据合规允许的前提下使用不含敏感信息的标识,便于关联应用日志和数据库记录。不要把用户隐私、令牌或完整业务对象直接写入注释或日志。没有稳定关联标识时,可先使用时间窗、集合、命令形态和脱敏后的查询条件进行交叉比对。

还要区分“数据库执行慢”和“请求端到端慢”。若 MongoDB 日志中的执行时间不高,但接口耗时明显更长,检查连接池等待、客户端重试、网络往返、应用线程池和结果序列化;若数据库记录持续变慢且同期主机资源异常,则先处理资源瓶颈,再评估索引调整。

把时间线扩展到分片、应用和系统层配图

根据结果选择处理方向

出现 COLLSCAN

先确认集合规模、查询返回比例和操作频率。若集合较大、查询只返回少量文档且重复发生,应根据过滤、排序和投影设计候选索引,并在测试或可控环境中验证执行统计。不要仅因为出现 COLLSCAN 就对每个查询条件都建索引:索引会增加存储占用,并带来写入维护成本。

使用了索引,但扫描量仍明显偏高

检查索引字段顺序能否同时支持过滤条件和排序,查询是否存在低选择性条件,是否有范围条件扩大扫描区间,以及返回字段是否导致额外读取文档。若多个查询共享相近的查询形态,可以对照各自扫描量和计划摘要;不要只按单条耗时推断哪个字段必须加索引。

扫描量不大,但耗时仍高

检查同一时段的 CPU、磁盘、锁等待、连接队列、网络和节点负载,也要看操作是否读取较大的文档或返回较多数据。此时单纯新增索引未必有效,还可能增加写入和存储成本。

慢日志没有对应记录

核对慢操作阈值、采样设置、日志保留范围和时区,确认查询是否由当前实例执行,以及问题是否发生在客户端等待或其他服务环节。如果需要短时间启用 profiler 或调整日志策略,应先核对 MongoDB 版本、现有配置、磁盘余量和实例负载,并记录原值、变更范围及恢复方式。

Profiler 会额外记录操作,写入 system.profile 也会占用资源与存储。不要在高负载生产实例上长期开启宽范围分析,也不要在未评估影响时直接降低慢操作阈值。确需临时调整时,应采用短时间观察、限定范围和可恢复的变更方案;记录原配置,验证采集结果后恢复原值,并检查临时数据和日志是否达到保留上限。

修复后验证并持续观察

索引或查询调整后,使用与线上查询条件、排序和投影一致的代表性请求复测。比较变更前后的 durationMillis、keysExamined、docsExamined、nreturned 和执行计划,同时检查写入延迟、磁盘空间及其他查询形态是否受到影响。评估时要比较相近的负载和数据范围,避免把流量变化误判成优化效果。

验证完成后,继续观察一个覆盖业务高峰的时间段。若扫描量下降但耗时没有改善,回到系统资源和请求链路检查;若单条查询改善而整体负载变差,检查新增索引对写入和存储的影响。若需要撤销索引变更,应先确认该索引没有被其他查询依赖,再按变更记录恢复;删除索引会影响所有依赖它的操作,不应作为试错命令直接执行。

慢查询分析的核心不是看到一次高耗时就立即建索引,而是让日志中的时间、执行计划和扫描量互相印证:先确认慢在数据库还是请求链路,再确认扫描是否过量,最后通过受控复测验证调整是否真正解决了问题。

围绕 MongoDB 慢查询排查涉及的数据库实例、存储与网络资源,A5数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,覆盖 Xeon Gold、AMD EPYC、SSD/NVMe、大内存及不同带宽线路配置,可为数据库、业务后台和接口服务提供相应的计算、数据读写与跨地区访问资源基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5274.html

相关推荐