数据库服务器MongoDB慢查询日志怎么看?如何根据扫描量定位索引问题
MongoDB 响应变慢时,慢查询日志能帮助确认是哪条操作耗时、扫描了多少索引键或文档,以及实际采用了什么执行计划。排查时不要只看 durationMillis:应把日志中的操作时间、命名空间、扫描量和计划摘要,与应用请求及主机负载放到同一时间线上,再用 explain 验证索引判断。
日志字段会随 MongoDB 版本和日志格式有所不同。以下以常见的结构化日志字段为例;字段缺失时,应先确认版本、日志配置和采集方式,不要把字段缺失直接当成“没有慢查询”。
先确认慢在哪里、发生在什么时候
先记录问题出现的时间段、受影响的业务接口、数据库和集合,以及是否只影响某类请求。需要区分“单条查询耗时高”和“同一时间查询量突然增多”:前者可能与索引、数据分布或排序有关,后者也可能是流量变化或连接排队造成的。
MongoDB 慢操作日志通常由慢操作阈值控制。常见部署默认阈值为 100 毫秒,但实际值可能被配置修改;低于阈值的操作不会因为它对业务重要就自动出现在慢查询日志中。查询日志也可能受采样设置影响,因此“没有看到慢日志”不等于“没有慢操作”。
先确认服务版本、日志路径和相关运行参数。下面的命令通过 mongosh 查询当前实例信息,不会修改配置:
db.version()
db.adminCommand({ getCmdLineOpts: 1 })
db.adminCommand({ getParameter: 1, slowms: 1, sampleRate: 1 })
查看 getCmdLineOpts 返回的启动参数和解析后配置,重点确认日志输出位置;慢操作阈值和采样率则以实例返回值为准。如果通过容器、托管服务或集中日志平台运行,日志可能不在本机文件系统中,应在对应平台检查日志出口和保留时间。
常见的慢操作记录可能包含以下信息:
| 字段或内容 | 排查用途 | 注意事项 |
|---|---|---|
ts | 确定日志时间,和应用、系统指标对齐 | 留意时区;集中采集后还可能存在传输延迟 |
ns | 定位数据库和集合,例如 shop.orders | 有些命令涉及多个集合,不能只依赖单一命名空间 |
durationMillis | 查看该操作记录的耗时 | 反映服务端记录的操作时间,不必然等于客户端完整等待时间 |
command | 查看命令类型、过滤条件、排序、投影等 | 可能包含业务数据,分享日志前应脱敏 |
planSummary | 快速识别计划摘要,例如 COLLSCAN 或 IXSCAN | 只是摘要,不能代替 explain |
keysExamined | 扫描过的索引键数量 | 索引扫描不等于命中结果,也不直接等于磁盘读取量 |
docsExamined | 扫描过的文档数量 | 大于返回量时可能存在较多过滤;需结合查询形态判断 |
nreturned | 返回的文档数量 | 字段大小写和结构可能随版本、日志格式变化 |
cursorExhausted、numYields 等 | 辅助理解游标是否读完、执行中是否让出控制权 | 字段是否出现取决于操作类型和版本 |
例如,下面是用于说明字段关系的模拟日志,不代表任何实际环境的记录:
{
"t": { "$date": "2025-03-08T10:15:21.300Z" },
"c": "COMMAND",
"s": "I",
"attr": {
"ns": "shop.orders",
"command": {
"find": "orders",
"filter": { "tenantId": 42, "status": "open" },
"sort": { "createdAt": -1 },
"limit": 50
},
"planSummary": "IXSCAN { tenantId: 1 }",
"keysExamined": 18420,
"docsExamined": 18420,
"nreturned": 50,
"durationMillis": 286
}
}
这条示例记录说明:查询耗时约 286 毫秒,索引扫描和文档扫描都达到 18,420,而最终只返回 50 条。它提示检查当前索引是否覆盖了过滤条件和排序,但不能仅凭这行日志断定“缺少某个索引”——集合大小、过滤条件选择性、文档结构和并发负载都会影响结果。
按由外到内的顺序排查
1. 先核对日志时间与业务现象
将慢日志时间与应用访问日志、接口耗时、错误率和主机监控对照。最好统一使用 UTC,或在对照时明确转换时区。应用记录的是请求开始、结束时间还是客户端超时,也要确认清楚;客户端耗时可能包含连接池等待、网络往返和应用处理,MongoDB 的 durationMillis 通常不能覆盖这些环节。
先按时间窗筛选,再按命名空间、命令类型和耗时聚类。例如,同一个集合在几分钟内突然出现大量相似查询,和一条孤立慢查询的处理方向不同。若日志采集平台支持按 JSON 字段过滤,优先使用结构化字段筛选;如果只能检索文本,注意格式差异可能导致字段名无法直接匹配。
检查同一时间段是否还出现:
- CPU 使用率持续升高、磁盘延迟增加、内存压力或交换空间活动;
- 数据库连接数、请求量或队列等待变化;
- 应用发布、批处理、索引构建、备份或数据导入;
- 网络抖动、连接重试或客户端超时。
如果所有集合的响应时间同时变差,不宜先给单个集合加索引;更应检查资源竞争和实例级负载。如果只有一个集合、一个查询形态持续变慢,再进入执行计划和索引分析。
2. 从慢日志提取扫描量和计划摘要
重点看 planSummary、keysExamined、docsExamined 和 nreturned,并把它们放在同一条操作记录中分析。可以使用以下比例作为排查线索:
docsExamined / nreturned明显偏高:服务端检查了较多文档才得到返回结果,可能是过滤条件选择性低、索引不匹配,或查询确实需要读取较多数据。keysExamined / nreturned明显偏高:索引扫描范围可能过宽,也可能是查询条件或排序无法有效缩小扫描范围。docsExamined很高、nreturned很低:检查过滤条件是否有合适索引,以及查询是否一次扫描了远多于业务需要的数据。docsExamined接近 0、keysExamined大于 0:可能是索引覆盖查询,或索引先定位候选键后没有取出文档;需要结合explain及返回字段确认。planSummary显示COLLSCAN:该次操作执行了集合扫描,是检查索引的强烈信号,但不自动等于错误。小集合、低频查询、需要读取大部分文档的操作,集合扫描可能是合理选择。planSummary显示IXSCAN:只说明使用了索引,不说明索引适合该查询;扫描数很高时仍可能是低效索引扫描。
比例没有适用于所有业务的统一合格线。比如查询主动读取数千条记录用于导出,即使扫描量和返回量相近,也可能耗时较长;只返回一条记录的点查,如果扫描大量键或文档,则更值得检查。还要注意当 nreturned 为 0 时,比例无法计算,应直接比较扫描量和查询条件。
3. 核对索引定义,再用 explain 验证
在确认问题查询具有代表性后,先读取集合现有索引。下面的读取操作不会修改索引:
db.orders.getIndexes()
检查索引的字段顺序、方向、是否为复合索引,以及查询是否包含额外的过滤、排序和投影。复合索引的字段顺序会影响能否有效支持查询;只看到“字段已经建索引”不足以证明该查询能利用它。还需考虑部分索引、稀疏索引、TTL 索引等属性及其适用条件。
随后对有代表性的查询形态运行执行统计。下面示例用业务条件替换字段和值:
db.orders.explain("executionStats").find(
{ tenantId: 42, status: "open" },
{ tenantId: 1, status: 1, createdAt: 1 }
).sort({ createdAt: -1 }).limit(50)
重点检查:
winningPlan:实际选择的计划及其阶段,是否有COLLSCAN、IXSCAN、排序阶段等;executionStats.nReturned:实际返回数量;executionStats.totalKeysExamined:执行期间扫描的索引键数;executionStats.totalDocsExamined:执行期间检查的文档数;- 是否存在内存排序、磁盘使用或分片执行信息(具体字段随版本和计划类型变化)。
executionStats 会执行查询以收集统计信息。生产环境中应选择范围受控、条件具有代表性的查询,避免对宽范围导出或高成本聚合直接运行;必要时先在测试环境验证。explain 的计划评估也不能简单等同于线上每次执行,它通常不会复用计划缓存中的计划,因此要与慢日志中的实际记录一起判断。
如果慢日志显示 IXSCAN,而 explain 仍扫描大量键,应检查索引是否只支持了部分过滤条件、排序字段是否合适、查询是否使用了宽范围条件,以及数据分布是否使该索引选择性较差。若日志与 explain 的计划差异明显,先核对查询形态和参数是否一致,再检查计划缓存、索引变更和数据分布变化。
4. 把时间线扩展到分片、应用和系统层
分片集群中,客户端请求可能经过 mongos,相关执行信息也可能出现在不同节点的日志中。排查时记录请求的时间、集合、查询条件和可用的请求标识,再结合路由信息判断操作落在哪些分片。若一次查询访问多个分片,单看某个节点的日志可能漏掉其他分片的耗时;应结合 explain 的分片统计和各节点同一时间段的日志。
如果应用能为请求设置查询注释或业务请求标识,可在权限和数据合规允许的前提下使用不含敏感信息的标识,便于关联应用日志和数据库记录。不要把用户隐私、令牌或完整业务对象直接写入注释或日志。没有稳定关联标识时,可先使用时间窗、集合、命令形态和脱敏后的查询条件进行交叉比对。
还要区分“数据库执行慢”和“请求端到端慢”。若 MongoDB 日志中的执行时间不高,但接口耗时明显更长,检查连接池等待、客户端重试、网络往返、应用线程池和结果序列化;若数据库记录持续变慢且同期主机资源异常,则先处理资源瓶颈,再评估索引调整。

根据结果选择处理方向
出现 COLLSCAN
先确认集合规模、查询返回比例和操作频率。若集合较大、查询只返回少量文档且重复发生,应根据过滤、排序和投影设计候选索引,并在测试或可控环境中验证执行统计。不要仅因为出现 COLLSCAN 就对每个查询条件都建索引:索引会增加存储占用,并带来写入维护成本。
使用了索引,但扫描量仍明显偏高
检查索引字段顺序能否同时支持过滤条件和排序,查询是否存在低选择性条件,是否有范围条件扩大扫描区间,以及返回字段是否导致额外读取文档。若多个查询共享相近的查询形态,可以对照各自扫描量和计划摘要;不要只按单条耗时推断哪个字段必须加索引。
扫描量不大,但耗时仍高
检查同一时段的 CPU、磁盘、锁等待、连接队列、网络和节点负载,也要看操作是否读取较大的文档或返回较多数据。此时单纯新增索引未必有效,还可能增加写入和存储成本。
慢日志没有对应记录
核对慢操作阈值、采样设置、日志保留范围和时区,确认查询是否由当前实例执行,以及问题是否发生在客户端等待或其他服务环节。如果需要短时间启用 profiler 或调整日志策略,应先核对 MongoDB 版本、现有配置、磁盘余量和实例负载,并记录原值、变更范围及恢复方式。
Profiler 会额外记录操作,写入 system.profile 也会占用资源与存储。不要在高负载生产实例上长期开启宽范围分析,也不要在未评估影响时直接降低慢操作阈值。确需临时调整时,应采用短时间观察、限定范围和可恢复的变更方案;记录原配置,验证采集结果后恢复原值,并检查临时数据和日志是否达到保留上限。
修复后验证并持续观察
索引或查询调整后,使用与线上查询条件、排序和投影一致的代表性请求复测。比较变更前后的 durationMillis、keysExamined、docsExamined、nreturned 和执行计划,同时检查写入延迟、磁盘空间及其他查询形态是否受到影响。评估时要比较相近的负载和数据范围,避免把流量变化误判成优化效果。
验证完成后,继续观察一个覆盖业务高峰的时间段。若扫描量下降但耗时没有改善,回到系统资源和请求链路检查;若单条查询改善而整体负载变差,检查新增索引对写入和存储的影响。若需要撤销索引变更,应先确认该索引没有被其他查询依赖,再按变更记录恢复;删除索引会影响所有依赖它的操作,不应作为试错命令直接执行。
慢查询分析的核心不是看到一次高耗时就立即建索引,而是让日志中的时间、执行计划和扫描量互相印证:先确认慢在数据库还是请求链路,再确认扫描是否过量,最后通过受控复测验证调整是否真正解决了问题。
围绕 MongoDB 慢查询排查涉及的数据库实例、存储与网络资源,A5数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,覆盖 Xeon Gold、AMD EPYC、SSD/NVMe、大内存及不同带宽线路配置,可为数据库、业务后台和接口服务提供相应的计算、数据读写与跨地区访问资源基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5274.html



