数据库服务器上的Redis集群如何重分片?业务运行期间要关注哪些迁移状态

发布人:A5数据发布时间:2026-11-07 09:40阅读量:71

生产环境中的目标不是简单地把一部分 Redis Slot 从一台服务器搬到另一台服务器,而是在业务持续读写的情况下,让 Slot 归属、键数据、复制链路和客户端路由最终保持一致。重分片过程中,源节点和目标节点可能同时承受额外的网络、CPU、内存和复制压力;如果 Redis 与 MySQL、PostgreSQL 等数据库部署在同一台服务器上,还要把磁盘 I/O、缓存争用和数据库查询延迟纳入变更风险。

业务不停机时,重点关注的不只是“迁移进度百分比”,还包括源节点是否仍处于 migrating、目标节点是否处于 importing、客户端收到的 ASK 和 MOVED 是否在预期范围内,以及 TRYAGAIN、CLUSTERDOWN、复制延迟和内存水位是否异常。以下方案适用于 Redis Cluster 在线重分片,具体阈值应结合现有业务基线和SLO调整。

现状核对:先确认需要移动的到底是什么

明确目标拓扑与影响范围

变更单中应先写清楚以下内容:

  • 当前集群包含多少个主节点、从节点,以及每个主节点负责的 Slot 范围。
  • 哪个主节点是源节点,哪个主节点是目标节点。
  • 计划移动多少个 Slot,目标是均衡容量、分散热点,还是为下线某台服务器做准备。
  • 源节点和目标节点对应的从节点是谁,迁移后复制关系是否保持不变。
  • Redis 是否与关系型数据库、备份程序、日志采集程序共用服务器资源。
  • 是否存在使用 Hash Tag 的键,例如 order:{10001}、order:{10002}。这类键可能集中到少量 Slot,不能只按 Slot 数量估算数据量。

Redis Cluster 总共只有 16384 个 Slot,但 Slot 并不代表等量数据。一个 Slot 可能只包含少量普通键,也可能因为 Hash Tag 或热点业务聚集大量键。因此,--cluster-slots 100 只表示迁移100个逻辑分片,不代表迁移了相同大小的100份数据。

核对集群是否处于可变更状态

在任意已知节点上执行只读检查,示例命令如下。生产环境启用了 ACL、TLS 或其他认证方式时,应按实际版本补充认证参数,不要把明文密码直接写入命令历史。

redis-cli -h <node-host> -p <port> cluster info
redis-cli -h <node-host> -p <port> cluster nodes
redis-cli --cluster check <node-host>:<port>
redis-cli --cluster info <node-host>:<port>

至少需要确认:

  • cluster_state:ok
  • cluster_slots_assigned:16384
  • cluster_slots_ok:16384
  • cluster_slots_fail:0
  • 没有主节点处于 fail 状态
  • 没有正在进行的其他故障转移、节点替换或大规模恢复
  • 所有主节点都能找到健康从节点,或者已经明确接受无从节点保护的风险

CLUSTER NODES 输出中的节点 ID、角色、连接状态和 Slot 范围应留档。源节点和目标节点必须使用稳定的节点 ID,而不是只凭主机名判断,避免变更期间节点地址或实例信息发生变化。

核对数据规模、热点和资源余量

在源节点、目标节点及其从节点上分别采集基线:

redis-cli -h <node-host> -p <port> info memory
redis-cli -h <node-host> -p <port> info stats
redis-cli -h <node-host> -p <port> info replication
redis-cli -h <node-host> -p <port> slowlog get 20

主机侧需要记录 CPU、内存、磁盘可用空间、磁盘 I/O、网络吞吐和 I/O wait。若 Redis 与关系型数据库共用服务器,还要同步记录数据库连接数、查询延迟、慢查询数量、事务提交延迟和日志刷盘延迟。

不要用 KEYS * 统计待迁移数据。对于重点 Slot,可以使用少量抽样检查:

redis-cli -h <source-host> -p <port> cluster countkeysinslot <slot>
redis-cli -h <source-host> -p <port> cluster getkeysinslot <slot> 20
redis-cli -h <source-host> -p <port> memory usage <key>

COUNTKEYSINSLOT 和抽样结果只反映检查时刻,业务持续写入时不能把它们当成严格的数据一致性证明。大规模扫描应使用限速的 SCAN,并避开业务高峰。

迁移耗时可以用有效载荷进行粗略估算,而不是直接用 Slot 数量估算。例如,待迁移数据约为80GB十进制,稳定迁移吞吐约为60MB/s十进制,则基础传输时间约为:

80GB = 80,000MB
80,000MB ÷ 60MB/s ≈ 1,333秒 ≈ 22分钟

考虑每个键的处理开销、业务写入、复制流量、重试和观察时间,排程时间可以按约29分钟或更长预留。这个数值只是计划示例,实际吞吐应以压测或小批量迁移期间的观测结果为准。

A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,可为Redis集群及同机数据库提供多地区部署基础。香港和美国的AMD EPYC、Xeon Gold平台配备大内存与SSD或NVMe存储,适合承载缓存、数据库和多任务业务;不同地区还提供相应的国际或优化线路,便于结合访问范围、数据规模与网络需求规划节点布局。

变更准备:先准备可恢复状态,再安排迁移窗口

备份不能只覆盖目标节点

Redis Cluster 的数据分布在多个主节点上,单个节点的 RDB 或 AOF 备份不能自动形成全局一致的时间点快照。变更前应确认:

  • 所有主节点及关键从节点都有最近一次可用备份。
  • 备份文件已复制到独立存储,且磁盘空间足够。
  • 至少抽取一个节点进行恢复校验,确认文件可读、Redis版本兼容、ACL和配置能够加载。
  • AOF、RDB、备份程序与数据库备份任务不会在同一时间造成磁盘拥塞。
  • 如果要求回到某个严格时间点,已经设计应用写入暂停或协调快照,而不是仅依赖多个节点各自生成的RDB。

不建议在高峰期直接执行阻塞式 SAVE 来“临时备份”。BGSAVE 也可能带来 fork、写时复制和磁盘 I/O 压力,应使用现有备份流程,并把备份影响纳入变更窗口。

如果 Redis 只是关系型数据库的缓存,回滚前还要确认缓存是否允许清空后重建;如果 Redis 保存的是订单状态、会话状态或其他唯一业务数据,则不能把“重新从数据库加载”当成默认回滚方案。

确认客户端可以处理迁移期间的路由变化

在线重分片要求业务使用支持 Redis Cluster 的客户端,并能正确处理:

  • MOVED
  • ASK
  • TRYAGAIN
  • 连接重试和节点拓扑刷新

需要检查应用连接池、Pipeline、事务和 Lua 脚本的行为。涉及多个键的命令必须满足同一 Slot 要求,否则会出现 CROSSSLOT,这通常是键设计或客户端调用问题,不应在迁移期间临时修改键名解决。

特别要检查以下情况:

  • 客户端是否只连接固定节点,不会刷新 Slot 路由表。
  • 客户端是否把 ASK 当成普通错误直接返回给业务。
  • Pipeline 中的命令是否可能分布在不同节点。
  • 事务或脚本涉及的键是否使用一致的 Hash Tag。
  • 连接池是否设置了过短的命令超时,导致迁移期间正常的短暂延迟被放大成大量失败。

设置分批策略和停止线

不要一次性迁移全部目标 Slot。建议先选择少量、非热点 Slot 作为观察批次,再逐步扩大。批次大小可以从32或64个 Slot起步,根据键数量和有效载荷调整;当单个Slot包含大量数据时,宁可减少批次数量,也不要机械追求固定Slot数。

变更单中应提前写出停止线,例如:

  • cluster_slots_fail 出现非零值,立即停止新增迁移批次。
  • CLUSTERDOWN、节点连接断开或主从复制中断,立即停止。
  • 应用错误率、超时率或P99延迟连续多个采样周期超过基线,例如持续5分钟超过基线50%,暂停观察。
  • 目标节点内存接近安全上限,或出现 evicted_keys、rejected_connections。
  • 迁移进度长时间不增加,且 ASK、TRYAGAIN 持续上升。
  • 同机关系型数据库的查询延迟、I/O wait或日志刷盘延迟超过业务阈值。

阈值应优先采用现有SLO和监控告警标准。没有基线时,可以先用小批次建立基线,而不是直接套用一个固定百分比。

分步实施:先迁移小批次,再扩大范围

第一步:记录变更前快照

在开始前保存以下信息:

  • CLUSTER INFO
  • CLUSTER NODES
  • 源节点和目标节点的 INFO memory
  • 源节点和目标节点的 INFO replication
  • 应用错误率、延迟、QPS
  • 数据库服务器 CPU、内存、磁盘和网络指标
  • 备份文件位置和校验结果

同时确认当前没有遗留的 migrating 或 importing 状态。若前一次变更中断过,不能直接启动新任务,应先确认哪些 Slot已经完成、哪些Slot仍在迁移。

第二步:执行小规模试迁移

Redis官方提供的集群重分片工具可以按源节点、目标节点和Slot数量执行迁移。示例:

redis-cli --cluster reshard <any-master-host>:6379 \
  --cluster-from <source-node-id> \
  --cluster-to <target-node-id> \
  --cluster-slots 32 \
  --cluster-timeout 5000

第一次执行建议保留交互确认,逐项检查源节点、目标节点和Slot数量后再确认。只有在参数已经经过人工审核、脚本具备审计和中止机制时,才考虑增加 --cluster-yes 进行自动化执行。

这条命令应由具备集群管理权限的账号执行,并确保目标节点确实是主节点。不要将复制节点 ID误填为目标主节点 ID,也不要在未确认数据备份的情况下直接使用手工 CLUSTER SETSLOT 覆盖Slot归属。

第三步:按批次扩大迁移范围

每个批次至少经历以下过程:

  1. 选择数据量和热点风险较低的Slot。
  2. 迁移一个小批次。
  3. 检查Slot归属、源目标内存、复制延迟和业务指标。
  4. 观察一个短窗口,确认指标回到基线附近。
  5. 再开始下一批次。
  6. 逐步迁移到高数据量或高访问量Slot。
  7. 最后处理需要下线或大幅缩容的节点。

业务持续写入时,迁移不是简单的“复制后删除”。源节点和目标节点会经历临时的迁移与导入状态,客户端可能收到不同类型的重定向响应。下面这些状态需要分别理解。

分步实施:先迁移小批次,再扩大范围配图

状态或响应含义变更负责人应关注什么
stableSlot有明确且稳定的归属节点正常状态,迁移完成后应回到该状态
migrating源节点正在把Slot中的键迁往目标节点关注迁移进度、源节点负载和业务访问
importing目标节点正在接收该Slot的数据关注目标内存、复制压力和导入是否长期不结束
ASK某个键正在迁移,客户端应临时向目标节点请求集群客户端应自动处理,持续升高说明迁移或热点存在问题
MOVEDSlot归属已经变化,客户端应更新路由表批次切换时短暂增加可以接受,长期大量出现需检查客户端
TRYAGAIN目标键当前处于迁移相关的暂时不可重试状态应带退避重试,持续出现时暂停扩大批次
CLUSTERDOWN集群无法提供正常服务或存在严重拓扑问题立即停止迁移,优先恢复集群稳定性

可以用以下命令查看某个Slot的迁移关系。不同Redis版本对输出格式和子命令支持可能略有差异,执行前应先核对版本帮助信息:

redis-cli -h <source-host> -p <port> cluster getslotmigrating <slot>
redis-cli -h <target-host> -p <port> cluster getslotimporting <slot>
redis-cli -h <node-host> -p <port> cluster nodes

在 CLUSTER NODES 的Slot字段中,迁移中的Slot通常会出现特殊的迁移或导入标记,具体显示形式以实际版本为准。不要只看命令行工具显示的“已完成数量”,应同时确认源、目标两端的Slot状态已经稳定。

验证观察:结构、数据、业务三层都要通过

先验证集群结构

每个批次完成后,至少检查:

redis-cli -h <node-host> -p <port> cluster info
redis-cli --cluster check <node-host>:<port>

验收条件包括:

  • cluster_state:ok
  • cluster_slots_assigned 为16384
  • cluster_slots_ok 为16384
  • cluster_slots_fail 为0
  • 迁移Slot不再长期处于 migrating 或 importing
  • --cluster check 没有报告未覆盖Slot或明显的节点归属异常
  • 主从复制链路保持正常

如果业务正在持续写入,迁移前后的键数量不一定相等。更适合比较的是重点Slot的趋势、抽样键的可读性以及业务操作结果,而不是要求每一次 COUNTKEYSINSLOT 都完全相同。

再验证数据和业务访问

数据验证应避免使用大范围阻塞操作。可以从应用侧抽取少量只读请求进行验证,并覆盖:

  • 普通字符串、哈希、列表、集合、有序集合等常用数据类型。
  • 带TTL的会话、验证码或临时状态。
  • 使用Hash Tag的多键操作。
  • 事务和Lua脚本。
  • 迁移前已经存在、迁移过程中被更新过的键。

需要特别注意,Slot反向迁移并不等于数据恢复到变更前。迁移期间业务对键的更新应当保留在当前数据中,验证重点是键仍能从正确节点访问,而不是要求值回到旧版本。

业务层面至少观察:

  • 读写成功率
  • Redis命令超时率
  • MOVED、ASK、TRYAGAIN 和 CROSSSLOT 计数
  • P95、P99延迟
  • 连接池重连次数
  • Pipeline和事务失败率
  • 关键接口的业务错误率

MOVED 在批次完成时短暂增加通常是正常的;ASK 只应在迁移期间出现,并在Slot稳定后下降。TRYAGAIN持续增加、ASK在迁移完成后仍然存在,或者客户端频繁重复刷新拓扑,都应暂停下一批次并检查客户端实现。

观察同机数据库和基础资源

如果 Redis 和关系型数据库共用服务器,Redis迁移带来的网络和CPU消耗可能间接影响数据库。观察窗口中需要同时确认:

  • 数据库查询P99是否偏离基线。
  • 磁盘队列、I/O wait和日志刷盘延迟是否增加。
  • Redis是否出现内存回收、淘汰或拒绝连接。
  • 目标节点及其从节点的内存增长是否符合预期。
  • 主从复制延迟是否持续扩大。
  • 迁移网络流量是否影响业务网络或备份网络。

每个小批次可以观察5至15分钟,最终完成后至少覆盖一个完整业务高峰,或者覆盖既有变更规范要求的观察窗口。高峰业务明显存在昼夜差异时,不能只在低峰期观察几分钟就关闭变更。

回滚条件:先恢复稳定状态,再决定是否反向迁移

按变更阶段设计回滚路径

重分片回滚不是简单地执行一次相反方向的命令。应根据变更阶段选择路径。

变更阶段典型触发条件推荐处理
尚未开始迁移备份、客户端或资源检查未通过不启动变更,保留现状
小批次迁移中延迟、内存、复制或数据库指标超过停止线停止新增批次,记录当前Slot状态,优先让正在执行的单个迁移操作完成或恢复稳定
已完成部分Slot资源压力持续但数据访问正常暂停扩容,必要时使用受控重分片把已完成Slot迁回有余量的节点
出现Slot未覆盖、CLUSTERDOWN或数据访问异常集群结构或业务完整性受到影响停止迁移,限制写入或进入维护模式,按故障恢复方案处理
需要恢复到严格历史时间点发现数据损坏、误操作或业务写入不可接受使用经过验证的协调备份或业务源数据恢复,不能只反向调整Slot归属

如果某些Slot已经完整迁移到目标节点,并且源节点仍有足够内存和网络余量,可以使用同样的受控重分片流程,将这些Slot从目标节点迁回源节点:

redis-cli --cluster reshard <any-master-host>:6379 \
  --cluster-from <target-node-id> \
  --cluster-to <source-node-id> \
  --cluster-slots <completed-slot-count> \
  --cluster-timeout 5000

这只是拓扑回滚,不是时间点数据回滚。迁移期间已经发生的业务写入仍然会被带回当前数据,不能恢复成迁移前的旧值。如果源节点已经没有足够资源,强行反向迁移可能进一步放大故障,此时应优先把新增迁移停止,并将已完成Slot迁往具备余量的健康节点。

不要用强制改Slot代替回滚

以下做法不应作为常规回滚手段:

  • 直接执行 CLUSTER SETSLOT <slot> NODE <node-id>,跳过键迁移。
  • 直接删除目标节点上的键,再把Slot指回源节点。
  • 发现 importing 或 migrating 后,未核对数据就强制执行 CLUSTER RESET。
  • 只恢复目标节点的RDB,忽略其他主节点和持续写入。
  • 因为看到 MOVED 就重启全部Redis节点。

强制修改Slot归属只改变路由元数据,不会自动搬运键。键实际保留在另一节点时,可能造成读不到、写入错误或数据分叉。若迁移中途异常,先保留源节点、目标节点、Slot状态和日志,确认数据位置后,再通过受支持的重分片流程完成当前Slot或恢复稳定归属。

最终回滚触发标准

变更负责人可以在变更单中采用以下类型的硬触发条件,并根据现有基线填写具体数值:

  • 任意时刻出现 cluster_slots_fail > 0。
  • 出现 CLUSTERDOWN、主节点失联或不可接受的主从复制中断。
  • ASK、TRYAGAIN 或命令超时连续多个采样周期上升。
  • 应用P99延迟、错误率超过预设停止线,且短暂停止迁移后没有恢复。
  • 目标节点内存接近上限,出现淘汰、拒绝连接或频繁 fork 压力。
  • 同机数据库查询延迟或磁盘I/O达到业务不可接受范围。
  • 迁移进度长时间无变化,Slot却持续处于 migrating 或 importing。
  • 抽样发现键丢失、TTL异常、跨Slot事务失败或关键业务数据不可读。

触发后应立即停止后续批次,不要为了“把计划做完”继续扩大影响范围。先将集群恢复为稳定Slot归属,完成结构和业务验证;只有在源、目标节点资源和数据状态均明确的情况下,才执行反向重分片。若目标是恢复到历史数据状态,则应转入经过验证的备份恢复或业务数据重建流程。

观察窗口结束的条件应同时满足:所有Slot回到稳定归属、集群状态正常、复制延迟恢复基线、ASK和TRYAGAIN回落、业务错误率和延迟稳定,并且同机数据库未出现持续资源争用。只要其中任意一项重新达到回滚触发线,就应停止继续扩容或下线节点,重新评估迁移方案。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7980.html

相关推荐