多个应用实例并发写入时,如何判断数据库服务器上Redis RDB写时复制的内存压力?

发布人:A5数据发布时间:2026-11-16 09:58阅读量:12

单看 free 显示的空闲内存很少,不能直接判定 Redis 的 RDB 写时复制(Copy-on-Write,COW)已经造成内存故障;只看 Redis 的 used_memory 没有明显上涨,也不能排除主机或容器正在承受压力。判断重点是:RDB 子进程运行期间,COW 增长是否与可用内存下降、交换活动、内存压力或 OOM 事件,以及应用延迟和错误率恶化同步发生。

多个应用实例同时写入时,实例数量本身不是决定因素。更值得关注的是汇总后的写入速率、写入数据分布、RDB 子进程持续时间,以及这些写入在快照期间触及了多少不同的内存页。把 Redis、操作系统、存储和应用指标放到同一时间轴上,才能区分 COW 压力、磁盘 I/O 争用和其他内存占用。

先建立与 RDB 对齐的观察窗口

执行后台 RDB 保存时,Redis 会创建子进程,让子进程读取快照期间的数据状态并写出 RDB 文件。fork 后,父子进程暂时共享许多内存页;父进程继续处理写命令时,被修改的共享页需要复制,形成 COW 开销。常见 Linux 环境的基础页大小为 4 KiB,但实际行为还会受内存映射、分配器和透明大页等因素影响。

因此,COW 不是“数据集大小乘一个固定比例”。更有参考价值的近似关系是:

COW 增量 ≈ RDB 子进程存活期间被修改的不同内存页数 × 实际复制粒度

同一页在一次快照期间多次被改写,通常不等于每次写入都再复制一份;但写入如果分散到更多页面,COW 仍可能显著增加。RDB 子进程运行越久,父进程有越多时间改动共享页,COW 峰值越可能扩大。

先建立与 RDB 对齐的观察窗口配图

先记录一段低负载基线,再覆盖一次完整的 RDB 保存过程和保存结束后的恢复阶段。采集频率可从 5~10 秒开始;若要捕捉短促峰值,可缩短间隔,但要确认监控采集本身不会给主机带来明显负担。所有数据都应带时间戳,并尽量校准 Redis 主机、应用监控和日志系统的时钟。

阶段建议观察内容要回答的问题
保存前基线MemAvailable、Redis 内存、写入速率、应用延迟和错误率平时可用内存和业务表现如何?
RDB 开始及运行中COW 指标、交换活动、内存 PSI、磁盘延迟、CPU、网络和队列哪些变化与子进程运行时间重合?
保存结束后可用内存、交换速率、应用延迟、错误率压力是否随 RDB 结束而缓解?是否留下持续性影响?

Redis 的 INFO 输出可以用于确认持久化和内存状态:

redis-cli INFO persistence
redis-cli INFO memory
redis-cli INFO stats
redis-cli INFO clients

重点查看 rdb_bgsave_in_progress、rdb_last_bgsave_status、latest_fork_usec、rdb_last_cow_size、used_memory、used_memory_rss、mem_fragmentation_ratio、instantaneous_ops_per_sec 和 blocked_clients 等字段。不同 Redis 版本提供的字段可能不同;先以当前实例实际返回的内容为准。

rdb_last_cow_size 是最近一次保存完成后的历史值,不应当当作正在进行的实时峰值。部分版本提供 current_cow_size 等运行中指标;如果实例没有这些字段,应结合操作系统内存数据和保存完成后的 COW 统计判断,不要把历史值误读成当前值。

主机侧可同步查看:

free -h
vmstat 1
cat /proc/pressure/memory

如需观察进程,可先确认 Redis PID,再查看进程状态:

ps -o pid,ppid,rss,vsz,stat,cmd -p "$PID"

ps 中的 RSS 可能包含共享页,不能简单把 Redis 父进程和 RDB 子进程的 RSS 相加,当作实际物理内存消耗。容器环境还应检查容器实际生效的内存限制、当前用量及 OOM 事件;cgroup v2 常见指标包括 memory.current、memory.max 和 memory.events,但挂载路径需按运行环境核实。

指标 A:判断 COW 是否随写入负载增长

观察 RDB 期间的 COW 相关数值,并将其与保存时长、Redis 写入活动放在一起看。单看一次保存结束后的 COW 大小,无法判断它是否异常;应与同一实例在相近数据规模、相近保存时长下的历史结果对比。

多个应用实例同时写入 Redis,可能提高快照期间的总写入量,但也要区分写入量和页面覆盖范围。大量更新集中在少数热点键,与更新分散在大量键和值所在内存区域,带来的 COW 行为未必相同。需要关注的联动包括:

  • RDB 子进程运行期间,COW 指标是否持续上升,或保存结束后记录的 COW 是否明显高于相近时段的基线。
  • Redis 写入操作速率、写入字节数或应用侧写请求是否在同一时间上升。
  • latest_fork_usec 或实际 RDB 持续时间是否变长,使父进程有更长时间继续处理写入。
  • used_memory 是否相对稳定,但操作系统可用内存却下降;这并不矛盾,因为逻辑数据量稳定不代表 COW、子进程开销或其他进程占用没有增长。

used_memory 主要反映 Redis 分配器管理的内存,不等于整台主机的内存需求。used_memory_rss 和碎片率有助于观察 Redis 常驻内存及分配器差异,但也不能替代主机的可用内存和容器限制数据。特别是在 RDB 子进程存在时,进程 RSS 中的共享页可能被重复计入,单独用 RSS 相加容易高估实际占用。

指标 B:看可用内存、交换和内存压力是否同时恶化

Linux 的 MemAvailable 通常比 MemFree 更适合评估主机当前可供新负载使用的内存。文件缓存占用较多时,MemFree 可能很低,但其中部分缓存能够回收;相反,如果 MemAvailable 持续下降,并且交换活动或 PSI 同步上升,就更值得警惕。

在 vmstat 1 中,重点看 si 和 so 是否出现持续的读入、写出活动。系统已经占用部分 swap,不必然代表当前正承受严重压力;若 RDB 期间 si、so 持续增加,同时内存 PSI、应用延迟也上升,才更能说明系统正在为内存不足付出性能代价。/proc/pressure/memory 中的 some 和 full 统计可帮助观察任务因内存压力而停顿的情况。

观测组合更合理的解读
MemFree 低,MemAvailable 稳定,交换活动接近零,应用延迟无明显变化可能主要是缓存使用或正常内存占用,单凭 MemFree 不足以判定压力。
MemAvailable 持续下降,PSI 上升,si/so 持续活动主机内存压力正在影响任务运行,需检查 COW 和其他进程占用。
主机 MemAvailable 尚可,但容器接近 memory.max,memory.events 中 OOM 计数增加容器限制可能先于主机物理内存成为瓶颈。
Redis 进程 RSS 上升,但 MemAvailable、PSI、交换和应用表现稳定仅凭 RSS 变化还不能认定已影响业务,需排查共享页和分配器行为。

不要等待出现 OOM 才认为有风险。内核日志中的 OOM 记录可以确认是否发生过系统级或 cgroup 级内存终止事件,但它是事后证据;如果压力指标和应用表现已同时恶化,就应在触发 OOM 前评估容量余量。

将内存与磁盘、CPU、网络及应用表现放在同一条时间线上

RDB 会产生磁盘写入,子进程也会消耗 CPU。保存期间的响应变慢,可能来自磁盘拥塞或 CPU 竞争,而不一定是 COW。另一方面,内存压力导致交换后,磁盘活动也可能增加;这时只看磁盘写入量,同样难以判断因果。

如果系统已安装 sysstat,可以用 iostat 观察磁盘队列和延迟:

iostat -xz 1

需要同时核对 RDB 文件所在设备的利用率、写延迟和队列变化。如果写入延迟在 RDB 期间上升,但 MemAvailable、PSI 和交换速率稳定,磁盘 I/O 争用是更值得优先排查的候选解释。若可用内存下降、交换活动和 PSI 也同步恶化,则可能是内存压力与 I/O 争用同时存在。

应用侧应把写请求量、连接池或请求队列、P95/P99 响应时间、超时和错误率,与 Redis 的处理速率、连接数及阻塞客户端放在同一个窗口内比较。多个应用实例共同增加请求,不等于 Redis 会为每个实例并行处理所有数据写入;写命令处理仍受 Redis 执行模型和当前负载影响,客户端数量不能直接换算成 COW 大小。

下面是一组模拟数据,只用于说明如何关联指标,不代表实际监控结果:

将内存与磁盘、CPU、网络及应用表现放在同一条时间线上配图

时间点Redis 写入速率RDB 状态MemAvailable交换写出应用 P99磁盘写延迟
保存前约 1.8 万次/秒未运行约 18 GiB接近 0约 12 ms约 4 ms
保存中段约 4.5 万次/秒子进程运行约 50 秒约 11 GiB约 20 MiB/s约 45 ms约 5 ms
保存后段约 4.2 万次/秒COW 持续增长约 7 GiB约 35 MiB/s约 110 ms约 6 ms
保存结束后约 1.9 万次/秒已结束约 15 GiB回落约 18 ms约 4 ms

如果同一窗口里看到 COW 增长、MemAvailable 下滑、交换写出和 PSI 上升,同时应用 P99 明显变差,而磁盘写延迟相对稳定,这组变化更支持“RDB 期间内存压力参与了响应退化”的判断。它仍不能单凭相关性证明唯一因果,但比只看某一个指标更有说服力。

排除常见的替代解释

其他进程或容器抢占内存

检查 Redis 以外的进程是否在相同时段启动备份、压缩、批量导入或其他高内存任务。若 Redis 的 COW 变化不大,但主机可用内存下降且某个进程 RSS 增长明显,优先评估其他进程。容器环境中还要确认 Redis 是否受到自身 cgroup 限制,或与同一宿主机上的其他容器争用资源。

文件缓存变化造成“内存变少”的错觉

RDB 写入会与文件系统缓存、其他存储活动同时发生。Cached 变化或 MemFree 偏低,不单独代表不可回收内存不足。应结合 MemAvailable、交换活动、PSI、cgroup 状态和业务表现判断,而不是把缓存直接算成 Redis 的 COW。

磁盘、CPU或网络先成为瓶颈

RDB 写盘可能加重存储设备负载;应用写入量提升也可能增加 CPU、网络和队列压力。若响应时间上升,但 MemAvailable、PSI 和交换活动基本稳定,应检查磁盘延迟、CPU 饱和、网络重传或应用侧排队。若多项指标一同恶化,则需要按时间先后判断:是内存压力先出现,还是磁盘或 CPU 瓶颈先出现。

统计口径把共享内存重复计算

Linux 的 RSS 可能将同一共享页分别计入父进程和子进程。保存期间把两个进程的 RSS 相加,容易把共享部分算两次。若需要更细的进程归因,可在系统支持时查看 /proc/<PID>/smaps_rollup 中的 PSS 等统计;同时仍应以主机或 cgroup 的整体内存数据确认实际压力。

大页或分配器行为改变了峰值

透明大页、Redis 分配器和内存碎片会影响进程统计与页面复制表现。发现同样的写入速率下 COW 峰值差异较大时,应记录内核版本、透明大页状态、Redis 版本和分配器设置,再做相同负载下的对比测试。不要仅凭一次 RSS 或碎片率变化就调整系统参数;参数调整应先评估对同机其他服务的影响,并安排可回退的验证窗口。

形成判断:看关联、幅度和重复性

更有把握地判断 RDB COW 正在造成内存压力,通常需要以下证据同时或连续出现:

  1. 时序相符:异常主要发生在 RDB 子进程运行期间,保存结束后有所缓解。
  2. COW 或写入负载相符:COW 统计上升,或写入速率、写入覆盖范围明显增加;保存时间也可能变长。
  3. 系统内存指标相符:MemAvailable 下降,并出现持续交换活动、内存 PSI 上升,或容器内存余量明显不足。
  4. 业务影响相符:应用延迟、超时、错误率或请求队列在同一窗口恶化。
  5. 替代解释不足以单独说明现象:没有更明显的其他进程内存增长、磁盘拥塞、CPU 饱和或网络异常。

如果只有“保存后 COW 值较大”,但可用内存、PSI、交换和应用表现均稳定,宜将其视为容量规划信号,而不是已经发生业务故障的充分证据。如果出现 OOM、持续交换、容器限额触顶或错误率上升,则需要按实际影响处理,不应等待下一次保存来确认。

容量评估可从保存前的实际余量入手:可用余量要能够覆盖预期的 COW 峰值、RDB 子进程自身的额外开销、同机其他任务的增长,以及留给系统运行的安全空间。历史 rdb_last_cow_size 可以作为估算起点,但应选取相近写入量和保存时长的数据,并对增长趋势留出余量;不能只按 Redis 的 maxmemory 推算主机所需内存,因为 Redis 限额不等于整个进程、RDB 子进程和操作系统的总需求。

面向 Redis 与数据库等持续写入型业务,A5idc数据提供香港、美国、日本等地区的物理服务器租用,配置涵盖 Xeon Gold、AMD EPYC 平台及不同容量的内存与 SSD/NVMe 存储组合,可为缓存服务、数据库进程和 RDB 快照运行提供相应的计算与内存资源基础。多地区及不同线路方案也能满足不同业务部署位置与网络资源的需求。

复测时改变一个因素,并保留业务保护

先在相近数据规模和负载下重复采集,比较基线、RDB 期间和结束后的指标。若需要验证写入并发是否放大峰值,可以选择低风险时段,先限制一部分非关键写入或错开批处理,再观察 COW、MemAvailable、交换、PSI 和应用延迟是否同步改善。不要在没有数据保护评估的情况下直接关闭持久化或终止 RDB 子进程;这可能影响快照可用性或数据恢复能力。调整前应确认备份与恢复要求、影响范围,并准备恢复原有策略的方案。

当问题指向磁盘而非内存时,应单独比较存储延迟、队列和 RDB 写入时段;当问题指向容器限额时,应以该容器的内存余量和 OOM 事件为主要依据。每次复测尽量只改变一个主要条件,否则即便现象改善,也难以确认是哪项变化发挥了作用。

下一次观察至少同时记录:RDB 运行状态与 COW、主机和容器内存余量、PSI 与交换速率、Redis 写入速率、磁盘延迟、CPU 和网络负载,以及应用 P95/P99、错误率和队列长度。所有指标使用同一时间轴,才能把“内存看起来少了”进一步判断为 COW 压力、其他资源争用,或两者共同作用。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9683.html

相关推荐