数据库服务器MongoDB索引使用率低怎么办?如何从查询计划判断索引是否生效

发布人:A5数据发布时间:2026-10-23 10:03阅读量:96

看到 db.orders.aggregate([{$indexStats:{}}]) 返回某个索引的 accesses.ops 很低,并不能直接得出“索引失效”的结论。这个指标统计的是索引被查询计划采用的次数,不代表索引是否能降低单次查询成本;一个每天只执行几十次、但每次都很慢的关键查询,可能比每天执行数万次的普通查询更值得优化。

判断 MongoDB 索引是否真正生效,应把两个问题分开:一是查询计划有没有选择该索引,二是选择索引后扫描的键和文档数量是否足够少。explain("executionStats") 可以回答第二个问题,$indexStats 更适合观察一段时间内的整体使用情况,不能替代慢查询分析。

先区分“使用率低”和“索引效果差”配图

围绕MongoDB数据库及业务后台场景,A5数据提供香港、美国、日本、新加坡等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC等计算平台,并配备SSD或NVMe存储与不同内存配置,适合承载数据库读写、缓存及多任务服务。结合CN2、GIA和国际带宽等线路方案,A5数据可为不同地区访问、跨境业务和数据规模下的MongoDB部署提供相应的硬件与网络基础。

先区分“使用率低”和“索引效果差”

MongoDB 中常见的“索引使用率”通常来自以下几类信息:

  • explain() 中是否出现 IXSCAN;
  • 查询计划中的 indexName 是否为目标索引;
  • executionStats.totalKeysExamined 和 totalDocsExamined 是否较低;
  • $indexStats 返回的 accesses.ops 是否持续增加;
  • 慢查询日志或性能监控中,使用该索引的查询延迟是否下降。

它们描述的不是同一件事。

观察结果可能含义是否能直接判定索引有问题
accesses.ops 较低使用该索引的查询较少,或统计窗口太短不能
winningPlan 出现 IXSCAN查询计划使用了某个索引只能说明被使用,不能说明效率高
totalKeysExamined 很高索引扫描范围较大,选择性可能不足需要结合返回行数判断
totalDocsExamined 接近 nReturned过滤后的文档较少,通常比较理想还要看延迟和排序
winningPlan 为 COLLSCAN该次查询选择了全表扫描不一定异常,可能是更便宜的计划
索引长期没有访问记录可能冗余,也可能只服务于低频关键查询不能立即删除

例如,一个只有几千条数据的集合,即使使用 COLLSCAN,查询也可能在毫秒级完成。相反,一个拥有数千万条文档的集合,即使计划中出现了 IXSCAN,如果扫描了数百万个索引键,查询仍然可能很慢。

因此,索引是否“生效”的核心判断不是“有没有被调用”,而是:

  1. 查询计划是否使用了适合该查询的索引;
  2. 索引扫描范围是否合理;
  3. 回表读取的文档数量是否合理;
  4. 是否避免了额外的大范围排序;
  5. 在真实数据量和典型参数下,延迟是否满足要求。

MongoDB 查询计划如何使用索引

MongoDB 会根据查询条件、排序、投影、可用索引和数据分布,为查询选择一个候选计划。常见的执行阶段包括:

  • COLLSCAN:扫描集合中的文档;
  • IXSCAN:扫描索引键;
  • FETCH:根据索引定位文档后回表读取完整文档;
  • SORT:内存中或磁盘上进行额外排序;
  • OR:为多个条件分支选择索引;
  • AND_SORTED 或 AND_HASH:尝试合并多个索引;
  • PROJECTION_COVERED 或类似覆盖查询阶段:只从索引返回所需字段,不读取原文档。

不同 MongoDB 版本以及经典执行引擎、Slot-Based Execution Engine(SBE)下,计划树字段可能略有不同。判断时不应只盯着最外层的 stage,还要向下查看子节点。SBE 计划中也可能在 queryPlan 或 slotBasedPlan 下展示具体执行信息。

一个典型查询如下:

db.orders.explain("executionStats").find(
  {
    tenantId: "tenant-1024",
    status: "paid",
    createdAt: {
      $gte: ISODate("2025-01-01T00:00:00Z")
    }
  },
  {
    _id: 0,
    orderNo: 1,
    createdAt: 1,
    amount: 1
  }
).sort({
  createdAt: -1
}).limit(50)

集合上有以下复合索引:

db.orders.createIndex({
  tenantId: 1,
  status: 1,
  createdAt: -1
})

一个比较理想的计划可能类似下面的结构:

MongoDB 查询计划如何使用索引配图

{
  "queryPlanner": {
    "winningPlan": {
      "stage": "FETCH",
      "inputStage": {
        "stage": "IXSCAN",
        "keyPattern": {
          "tenantId": 1,
          "status": 1,
          "createdAt": -1
        },
        "indexName": "tenantId_1_status_1_createdAt_-1"
      }
    }
  },
  "executionStats": {
    "nReturned": 50,
    "executionTimeMillis": 6,
    "totalKeysExamined": 52,
    "totalDocsExamined": 50
  }
}

这个结果说明:

  • 计划确实使用了目标复合索引;
  • 索引扫描了约 52 个键;
  • 最终返回 50 条文档;
  • 回表读取的文档数与返回数接近;
  • 没有看到额外的 SORT 阶段。

它通常意味着索引的过滤顺序和排序方向比较匹配。但这仍是一次查询样本,不能代表所有租户、所有时间范围都同样有效。

IXSCAN 不等于高效

下面这类计划虽然使用了索引,但效率可能并不理想:

{
  "winningPlan": {
    "stage": "FETCH",
    "inputStage": {
      "stage": "IXSCAN",
      "indexName": "status_1_createdAt_1"
    }
  },
  "executionStats": {
    "nReturned": 80,
    "totalKeysExamined": 180000,
    "totalDocsExamined": 120000
  }
}

这里的索引使用率并不低,但索引选择性很差。查询只返回 80 条数据,却扫描了 18 万个索引键和 12 万个文档。常见原因包括:

IXSCAN 不等于高效配图

  • status 只有少量枚举值,单独过滤区分度低;
  • 时间范围过大;
  • 复合索引的前导字段没有参与过滤;
  • 查询条件与索引字段顺序不匹配;
  • 数据分布发生变化,原本有效的索引逐渐变得不适合;
  • 多键索引导致同一文档对应多个索引键。

COLLSCAN 也不一定是错误

如果查询返回了集合中相当大比例的文档,索引扫描后再逐条回表,可能比顺序扫描集合更昂贵。例如,集合有 100 万条文档,查询返回 70 万条。此时执行计划选择 COLLSCAN 可能是合理的。

需要特别关注的是:

  • 查询本身是否具有较高选择性;
  • 结果集是否确实很大;
  • 是否有 limit();
  • 是否需要排序;
  • 数据是否大多在 WiredTiger 缓存中;
  • 集合扫描是否已经成为慢查询。

不能把“出现 COLLSCAN”作为唯一的优化依据,也不能把“出现 IXSCAN”作为索引成功的唯一依据。

影响索引使用率和实际效果的因素

查询选择性

选择性可以简单理解为:查询条件能排除多少无关数据。

假设 status 只有 paid、pending、cancelled 三种值,那么下面的索引:

{ status: 1 }

可能无法有效缩小扫描范围。如果集合中 60% 的文档都是 paid,MongoDB 需要扫描大量索引项,再回表读取大量文档,索引收益就会下降。

相反,租户标识、订单号、设备编号等字段通常具有更高区分度。实际设计时应结合查询模式和数据分布,而不是只看字段名称。

复合索引的字段顺序

复合索引通常依赖前缀字段。索引:

{ tenantId: 1, status: 1, createdAt: -1 }

更适合以下查询:

{
  tenantId: "tenant-1024",
  status: "paid",
  createdAt: { $gte: ISODate("2025-01-01T00:00:00Z") }
}

如果查询只提供 status:

{
  status: "paid"
}

MongoDB 不是绝对不能使用这个索引,但由于跳过了第一个字段 tenantId,通常需要扫描更大的索引范围,效果可能不如以 status 开头的索引。

如果查询需要按照 createdAt 倒序返回结果,索引中的排序方向也要结合过滤条件、排序方式和查询范围判断。常见设计思路是优先放稳定的等值条件,再考虑排序字段和范围字段,但不能把这一规则机械套用到所有查询。最终仍应通过 explain("executionStats") 验证。

是否需要回表

如果索引只用于定位文档,计划一般会出现 IXSCAN 加 FETCH。如果查询投影的字段全部包含在索引中,可能形成覆盖查询,减少文档读取。

例如:

db.orders.createIndex({
  tenantId: 1,
  status: 1,
  createdAt: -1,
  orderNo: 1
})

查询只返回索引中的字段时,可能不需要读取完整文档:

db.orders.explain("executionStats").find(
  {
    tenantId: "tenant-1024",
    status: "paid"
  },
  {
    _id: 0,
    orderNo: 1,
    createdAt: 1
  }
)

覆盖查询不一定值得专门建立很宽的索引。索引字段越多,占用的磁盘和缓存越多,写入时维护成本也越高。是否增加投影字段,应根据慢查询数量、回表成本、内存容量和写入压力综合判断。

排序是否由索引完成

如果计划中出现单独的 SORT 阶段,说明过滤可能使用了索引,但排序没有完全由索引提供。对于大结果集,这个阶段可能带来明显的内存和磁盘开销。

需要比较以下两部分:

  • IXSCAN 是否已经缩小了结果范围;
  • SORT 是否仍需要处理大量文档;
  • 是否使用了 limit();
  • 排序字段是否位于合适的复合索引位置。

只增加一个排序字段并不一定能解决问题。如果范围条件出现在复合索引的前面,后续字段能否继续提供排序能力,还要根据具体查询计划判断。

字段类型、排序规则和查询写法

以下情况都可能使索引效果偏离预期:

  • 查询参数类型与存储类型不一致,例如字段保存为数值,应用却传入字符串;
  • 集合或索引使用了特定 collation,但查询没有使用相同规则;
  • 使用前导通配符的正则表达式,例如 /.*abc/;
  • 使用 $ne、$nin 等低选择性条件;
  • 对字段进行表达式计算后再过滤;
  • 数组字段形成多键索引,导致一个文档对应多个索引键;
  • partial index 的过滤条件没有被查询条件覆盖;
  • sparse index 对缺失字段的行为与普通索引不同;
  • hashed index 适合等值定位,但不适合范围查询和排序。

这类问题中,查询计划可能仍然出现索引阶段,但扫描量并不理想。

计划缓存和数据分布变化

MongoDB 可能为相同查询形状复用已经选择的计划。查询参数分布变化后,原本适合某一类参数的计划不一定适合另一类参数。

例如:

  • 某些租户只有几千条数据,另一些租户有几千万条;
  • 最近一天的数据非常集中,历史数据分布较稀疏;
  • 业务上线后某个状态值占比大幅增加;
  • 集合规模增长后,原有的全表扫描成本不再可接受。

因此,验证索引时应使用不同选择性的参数,而不是只测试一个容易命中缓存的值。计划缓存相关操作受 MongoDB 版本和部署方式影响,不建议在生产环境中直接清空全部计划缓存来“试试看”。应先确认具体版本,并优先通过代表性查询、索引设计和应用层监控定位问题。

使用查询计划判断索引是否生效

第一步:确认实际索引和实际查询

先查看集合上的索引:

db.orders.getIndexes()

验证时必须尽量保持查询原样,包括:

  • 过滤字段;
  • 字段类型;
  • 排序;
  • 投影;
  • limit();
  • 是否使用聚合;
  • 是否指定 collation;
  • 是否包含应用实际传入的时间范围。

仅执行一个简化后的查询,可能得到与线上完全不同的计划。

第二步:运行 executionStats

对代表性查询执行:

db.orders.explain("executionStats").find(
  {
    tenantId: "tenant-1024",
    status: "paid",
    createdAt: {
      $gte: ISODate("2025-01-01T00:00:00Z"),
      $lt: ISODate("2025-02-01T00:00:00Z")
    }
  }
).sort({
  createdAt: -1
}).limit(50)

重点查看以下字段:

  • queryPlanner.winningPlan:最终采用的计划;
  • winningPlan 中的 stage、inputStage 或 queryPlan;
  • indexName:实际采用的索引名称;
  • executionStats.nReturned:返回文档数量;
  • executionStats.totalKeysExamined:扫描的索引键数量;
  • executionStats.totalDocsExamined:检查的文档数量;
  • executionStats.executionTimeMillis:本次执行耗时;
  • 是否出现 COLLSCAN;
  • 是否出现额外的 SORT;
  • 是否有多个 IXSCAN 分支。

可以使用下面的指标进行初步判断:

使用查询计划判断索引是否生效配图

计划表现初步判断下一步
IXSCAN,扫描键数量接近返回数,文档检查数也接近返回数索引通常较有效继续观察不同参数和高分位延迟
IXSCAN,但扫描数远高于返回数使用了索引但选择性不足检查字段顺序、范围大小和数据分布
IXSCAN 后还有大规模 SORT过滤使用索引,排序未充分利用索引检查复合索引和排序方向
COLLSCAN,返回结果占集合比例很高可能是合理选择结合实际耗时,不要仅因全表扫描就改索引
COLLSCAN,只返回少量文档且耗时明显可能缺少合适索引或计划不理想检查查询条件、索引和参数类型
totalDocsExamined 为 0 或很低,且投影字段在索引中可能是覆盖查询评估宽索引带来的写入和存储成本

没有一个适用于所有业务的固定阈值。例如,totalKeysExamined / nReturned 接近 1,通常说明范围较集中;但当 nReturned 为 0、查询存在重复数组索引项,或结果受 limit() 影响时,比例不能单独使用。应把扫描量与查询延迟、结果集大小和业务目标一起判断。

第三步:查看候选计划,但不要误读 rejectedPlans

在受控环境中,可以使用:

db.orders.explain("allPlansExecution").find(
  {
    tenantId: "tenant-1024",
    status: "paid",
    createdAt: {
      $gte: ISODate("2025-01-01T00:00:00Z")
    }
  }
).sort({
  createdAt: -1
}).limit(50)

这个模式有助于了解候选计划在评估阶段的表现,例如某个索引为什么没有成为 winningPlan。但它可能产生额外执行开销,不适合对生产环境的大范围查询反复运行。

rejectedPlans 只表示某些候选计划没有被选中,不代表对应索引一定无用。某个索引可能服务于另一种查询形状、另一种排序方式,或只在特定数据范围下更有效。

第四步:用 hint() 做受控对比

如果默认计划是 COLLSCAN,可以在测试环境或小范围数据上强制使用某个索引,比较扫描量和耗时:

db.orders.explain("executionStats").find(
  {
    tenantId: "tenant-1024",
    status: "paid",
    createdAt: {
      $gte: ISODate("2025-01-01T00:00:00Z")
    }
  }
).sort({
  createdAt: -1
}).limit(50).hint({
  tenantId: 1,
  status: 1,
  createdAt: -1
})

hint() 的结果只能证明“强制使用该索引时表现如何”,不能证明它适合所有参数,也不建议未经验证就写入应用程序作为永久方案。强制索引可能在数据分布变化后反而造成更高延迟。

如果需要与集合扫描建立基线,也可以使用:

db.orders.explain("executionStats").find(
  {
    tenantId: "tenant-1024",
    status: "paid"
  }
).hint({
  $natural: 1
})

这会强制采用自然顺序扫描。对大型集合执行时可能读取大量数据,应仅在测试环境、低峰期或明确限制返回范围的情况下使用。

用 $indexStats 观察一段时间内的真实使用情况

查询计划适合分析单次查询,$indexStats 适合观察某个集合的索引在一段时间内是否被使用:

db.orders.aggregate([
  {
    $indexStats: {}
  },
  {
    $project: {
      name: 1,
      key: 1,
      ops: "$accesses.ops",
      since: "$accesses.since",
      host: 1
    }
  },
  {
    $sort: {
      ops: -1
    }
  }
])

使用时需要注意几个边界:

  • ops 是索引访问次数,不是查询耗时;
  • 统计窗口由 since 反映,服务重启、节点切换或统计重新开始后,不能直接与更长周期比较;
  • 副本集不同节点的访问情况可能不同;
  • 分片集群需要关注各分片上的实际索引和访问情况;
  • 一个索引访问次数少,可能只是查询本身低频,但仍然承担关键业务;
  • _id_ 等系统必需索引不能按普通冗余索引处理。

更可靠的判断方式是把索引访问统计与慢查询记录对应起来。例如,先找出访问量高且延迟低的普通查询,再找出访问量低但延迟高的查询。后者经常是需要优化的重点,而不是简单删除低访问索引。

如果需要短时间采集慢查询,可以先查看当前配置:

db.getProfilingStatus()

在明确权限、采集窗口和资源影响后,可暂时启用较高阈值的慢查询记录:

db.setProfilingLevel(1, {
  slowms: 100
})

随后查询当前数据库的记录:

db.system.profile.find(
  {},
  {
    op: 1,
    ns: 1,
    command: 1,
    millis: 1,
    planSummary: 1,
    ts: 1
  }
).sort({
  ts: -1
}).limit(20)

这里的 100 毫秒只是示例,应根据业务延迟目标调整。Profiler 会增加记录和分析开销,生产环境应控制采集时长,并在结束后恢复:

db.setProfilingLevel(0)

如果环境有应用层慢查询日志、APM 或数据库监控,优先使用已有采集链路,避免重复开启高强度诊断。

根据验证结果决定如何优化

当查询确实存在索引问题时,通常有以下几种处理方向。

重新设计复合索引

如果查询同时包含租户过滤、状态过滤、时间范围和排序,可以围绕真实查询形状设计复合索引,而不是为每个字段单独建立索引。

例如,查询长期表现为:

{
  tenantId: "...",
  status: "...",
  createdAt: { $gte: ... }
}

并按 createdAt 倒序返回,就可以评估类似下面的索引:

{
  tenantId: 1,
  status: 1,
  createdAt: -1
}

但是否保留 status、是否加入投影字段、是否需要另一种排序,都必须通过多组 explain("executionStats") 验证。不要因为索引字段越多就认为性能越好。

处理冗余索引时先观察完整业务周期

低访问索引可能是月末、季度末、夜间任务或异常处理流程使用的索引。删除前至少应覆盖完整业务周期,并核对:

  • 线上查询日志;
  • $indexStats;
  • 读写延迟;
  • 批处理和报表任务;
  • 副本集和分片节点;
  • 应用发布后的查询形状。

删除索引属于会影响查询计划的数据库操作。应先确认备份或可恢复方案,记录原索引定义,并选择低峰期执行。若发现性能回退,需要根据保存的索引定义重新创建;重新建索引本身也可能消耗磁盘、CPU、内存和 I/O,因此要提前评估影响范围。

用隐藏索引做有限验证

在支持该功能的 MongoDB 版本中,可以考虑先隐藏索引,观察查询计划是否变化,而不是直接删除:

db.orders.hideIndex("tenantId_1_status_1_createdAt_-1")

隐藏索引会影响后续计划选择,不能视为无影响操作。应在业务低峰期、明确监控延迟和错误率的情况下进行,并提前记录受影响集合和索引名称。需要恢复时:

db.orders.unhideIndex("tenantId_1_status_1_createdAt_-1")

不同版本对索引隐藏功能的支持和命令行为可能存在差异,执行前应通过 db.version() 确认版本,并优先在测试环境验证。

哪些情况下不应急着增加索引

索引不是越多越好。每增加一个索引,通常都会带来更多磁盘占用、缓存压力以及写入时的维护成本。以下情况中,增加索引未必能解决问题:

  • 集合规模很小,COLLSCAN 已经足够快;
  • 查询返回了集合中的大部分文档;
  • 查询瓶颈来自磁盘延迟、缓存命中率、CPU 或锁竞争;
  • 结果集很大,网络传输和应用序列化占主要耗时;
  • 查询虽然使用 IXSCAN,但真正问题是范围过宽;
  • 连接池排队导致应用端等待,数据库执行时间并不长;
  • 分片查询没有包含有效的分片键,导致多个分片执行,即使每个分片内部都使用了索引;
  • 聚合管道中的过滤条件无法在早期下推,索引无法减少前置阶段的数据量。

如果 totalKeysExamined 和 totalDocsExamined 都很低,但 executionTimeMillis 仍然偏高,应把排查范围扩展到存储延迟、WiredTiger 缓存、CPU、连接池、锁等待、网络传输和应用处理,而不是继续堆叠索引。

最终可以用一组真实且具有代表性的查询完成判断:先通过 winningPlan 确认是否使用目标索引,再通过 totalKeysExamined、totalDocsExamined、是否存在额外 SORT 和高分位延迟判断使用质量,最后用 $indexStats 在完整业务周期内观察整体访问情况。只有当索引既没有被合适的查询计划采用,或虽然被采用却长期扫描大量无关数据,并且问题能够在不同参数和节点上稳定复现时,才适合进入索引重设计、隐藏验证或删除评估流程。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5239.html

相关推荐