数据库服务器上的Redis集群如何重分片?业务运行期间要关注哪些迁移状态
生产环境中的目标不是简单地把一部分 Redis Slot 从一台服务器搬到另一台服务器,而是在业务持续读写的情况下,让 Slot 归属、键数据、复制链路和客户端路由最终保持一致。重分片过程中,源节点和目标节点可能同时承受额外的网络、CPU、内存和复制压力;如果 Redis 与 MySQL、PostgreSQL 等数据库部署在同一台服务器上,还要把磁盘 I/O、缓存争用和数据库查询延迟纳入变更风险。
业务不停机时,重点关注的不只是“迁移进度百分比”,还包括源节点是否仍处于 migrating、目标节点是否处于 importing、客户端收到的 ASK 和 MOVED 是否在预期范围内,以及 TRYAGAIN、CLUSTERDOWN、复制延迟和内存水位是否异常。以下方案适用于 Redis Cluster 在线重分片,具体阈值应结合现有业务基线和SLO调整。
现状核对:先确认需要移动的到底是什么
明确目标拓扑与影响范围
变更单中应先写清楚以下内容:
- 当前集群包含多少个主节点、从节点,以及每个主节点负责的 Slot 范围。
- 哪个主节点是源节点,哪个主节点是目标节点。
- 计划移动多少个 Slot,目标是均衡容量、分散热点,还是为下线某台服务器做准备。
- 源节点和目标节点对应的从节点是谁,迁移后复制关系是否保持不变。
- Redis 是否与关系型数据库、备份程序、日志采集程序共用服务器资源。
- 是否存在使用 Hash Tag 的键,例如
order:{10001}、order:{10002}。这类键可能集中到少量 Slot,不能只按 Slot 数量估算数据量。
Redis Cluster 总共只有 16384 个 Slot,但 Slot 并不代表等量数据。一个 Slot 可能只包含少量普通键,也可能因为 Hash Tag 或热点业务聚集大量键。因此,--cluster-slots 100 只表示迁移100个逻辑分片,不代表迁移了相同大小的100份数据。
核对集群是否处于可变更状态
在任意已知节点上执行只读检查,示例命令如下。生产环境启用了 ACL、TLS 或其他认证方式时,应按实际版本补充认证参数,不要把明文密码直接写入命令历史。
redis-cli -h <node-host> -p <port> cluster info
redis-cli -h <node-host> -p <port> cluster nodes
redis-cli --cluster check <node-host>:<port>
redis-cli --cluster info <node-host>:<port>
至少需要确认:
cluster_state:okcluster_slots_assigned:16384cluster_slots_ok:16384cluster_slots_fail:0- 没有主节点处于
fail状态 - 没有正在进行的其他故障转移、节点替换或大规模恢复
- 所有主节点都能找到健康从节点,或者已经明确接受无从节点保护的风险
CLUSTER NODES 输出中的节点 ID、角色、连接状态和 Slot 范围应留档。源节点和目标节点必须使用稳定的节点 ID,而不是只凭主机名判断,避免变更期间节点地址或实例信息发生变化。
核对数据规模、热点和资源余量
在源节点、目标节点及其从节点上分别采集基线:
redis-cli -h <node-host> -p <port> info memory
redis-cli -h <node-host> -p <port> info stats
redis-cli -h <node-host> -p <port> info replication
redis-cli -h <node-host> -p <port> slowlog get 20
主机侧需要记录 CPU、内存、磁盘可用空间、磁盘 I/O、网络吞吐和 I/O wait。若 Redis 与关系型数据库共用服务器,还要同步记录数据库连接数、查询延迟、慢查询数量、事务提交延迟和日志刷盘延迟。
不要用 KEYS * 统计待迁移数据。对于重点 Slot,可以使用少量抽样检查:
redis-cli -h <source-host> -p <port> cluster countkeysinslot <slot>
redis-cli -h <source-host> -p <port> cluster getkeysinslot <slot> 20
redis-cli -h <source-host> -p <port> memory usage <key>
COUNTKEYSINSLOT 和抽样结果只反映检查时刻,业务持续写入时不能把它们当成严格的数据一致性证明。大规模扫描应使用限速的 SCAN,并避开业务高峰。
迁移耗时可以用有效载荷进行粗略估算,而不是直接用 Slot 数量估算。例如,待迁移数据约为80GB十进制,稳定迁移吞吐约为60MB/s十进制,则基础传输时间约为:
80GB = 80,000MB
80,000MB ÷ 60MB/s ≈ 1,333秒 ≈ 22分钟
考虑每个键的处理开销、业务写入、复制流量、重试和观察时间,排程时间可以按约29分钟或更长预留。这个数值只是计划示例,实际吞吐应以压测或小批量迁移期间的观测结果为准。
A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,可为Redis集群及同机数据库提供多地区部署基础。香港和美国的AMD EPYC、Xeon Gold平台配备大内存与SSD或NVMe存储,适合承载缓存、数据库和多任务业务;不同地区还提供相应的国际或优化线路,便于结合访问范围、数据规模与网络需求规划节点布局。
变更准备:先准备可恢复状态,再安排迁移窗口
备份不能只覆盖目标节点
Redis Cluster 的数据分布在多个主节点上,单个节点的 RDB 或 AOF 备份不能自动形成全局一致的时间点快照。变更前应确认:
- 所有主节点及关键从节点都有最近一次可用备份。
- 备份文件已复制到独立存储,且磁盘空间足够。
- 至少抽取一个节点进行恢复校验,确认文件可读、Redis版本兼容、ACL和配置能够加载。
- AOF、RDB、备份程序与数据库备份任务不会在同一时间造成磁盘拥塞。
- 如果要求回到某个严格时间点,已经设计应用写入暂停或协调快照,而不是仅依赖多个节点各自生成的RDB。
不建议在高峰期直接执行阻塞式 SAVE 来“临时备份”。BGSAVE 也可能带来 fork、写时复制和磁盘 I/O 压力,应使用现有备份流程,并把备份影响纳入变更窗口。
如果 Redis 只是关系型数据库的缓存,回滚前还要确认缓存是否允许清空后重建;如果 Redis 保存的是订单状态、会话状态或其他唯一业务数据,则不能把“重新从数据库加载”当成默认回滚方案。
确认客户端可以处理迁移期间的路由变化
在线重分片要求业务使用支持 Redis Cluster 的客户端,并能正确处理:
MOVEDASKTRYAGAIN- 连接重试和节点拓扑刷新
需要检查应用连接池、Pipeline、事务和 Lua 脚本的行为。涉及多个键的命令必须满足同一 Slot 要求,否则会出现 CROSSSLOT,这通常是键设计或客户端调用问题,不应在迁移期间临时修改键名解决。
特别要检查以下情况:
- 客户端是否只连接固定节点,不会刷新 Slot 路由表。
- 客户端是否把
ASK当成普通错误直接返回给业务。 - Pipeline 中的命令是否可能分布在不同节点。
- 事务或脚本涉及的键是否使用一致的 Hash Tag。
- 连接池是否设置了过短的命令超时,导致迁移期间正常的短暂延迟被放大成大量失败。
设置分批策略和停止线
不要一次性迁移全部目标 Slot。建议先选择少量、非热点 Slot 作为观察批次,再逐步扩大。批次大小可以从32或64个 Slot起步,根据键数量和有效载荷调整;当单个Slot包含大量数据时,宁可减少批次数量,也不要机械追求固定Slot数。
变更单中应提前写出停止线,例如:
cluster_slots_fail出现非零值,立即停止新增迁移批次。CLUSTERDOWN、节点连接断开或主从复制中断,立即停止。- 应用错误率、超时率或P99延迟连续多个采样周期超过基线,例如持续5分钟超过基线50%,暂停观察。
- 目标节点内存接近安全上限,或出现
evicted_keys、rejected_connections。 - 迁移进度长时间不增加,且
ASK、TRYAGAIN持续上升。 - 同机关系型数据库的查询延迟、I/O wait或日志刷盘延迟超过业务阈值。
阈值应优先采用现有SLO和监控告警标准。没有基线时,可以先用小批次建立基线,而不是直接套用一个固定百分比。
分步实施:先迁移小批次,再扩大范围
第一步:记录变更前快照
在开始前保存以下信息:
CLUSTER INFOCLUSTER NODES- 源节点和目标节点的
INFO memory - 源节点和目标节点的
INFO replication - 应用错误率、延迟、QPS
- 数据库服务器 CPU、内存、磁盘和网络指标
- 备份文件位置和校验结果
同时确认当前没有遗留的 migrating 或 importing 状态。若前一次变更中断过,不能直接启动新任务,应先确认哪些 Slot已经完成、哪些Slot仍在迁移。
第二步:执行小规模试迁移
Redis官方提供的集群重分片工具可以按源节点、目标节点和Slot数量执行迁移。示例:
redis-cli --cluster reshard <any-master-host>:6379 \
--cluster-from <source-node-id> \
--cluster-to <target-node-id> \
--cluster-slots 32 \
--cluster-timeout 5000
第一次执行建议保留交互确认,逐项检查源节点、目标节点和Slot数量后再确认。只有在参数已经经过人工审核、脚本具备审计和中止机制时,才考虑增加 --cluster-yes 进行自动化执行。
这条命令应由具备集群管理权限的账号执行,并确保目标节点确实是主节点。不要将复制节点 ID误填为目标主节点 ID,也不要在未确认数据备份的情况下直接使用手工 CLUSTER SETSLOT 覆盖Slot归属。
第三步:按批次扩大迁移范围
每个批次至少经历以下过程:
- 选择数据量和热点风险较低的Slot。
- 迁移一个小批次。
- 检查Slot归属、源目标内存、复制延迟和业务指标。
- 观察一个短窗口,确认指标回到基线附近。
- 再开始下一批次。
- 逐步迁移到高数据量或高访问量Slot。
- 最后处理需要下线或大幅缩容的节点。
业务持续写入时,迁移不是简单的“复制后删除”。源节点和目标节点会经历临时的迁移与导入状态,客户端可能收到不同类型的重定向响应。下面这些状态需要分别理解。

| 状态或响应 | 含义 | 变更负责人应关注什么 |
|---|---|---|
stable | Slot有明确且稳定的归属节点 | 正常状态,迁移完成后应回到该状态 |
migrating | 源节点正在把Slot中的键迁往目标节点 | 关注迁移进度、源节点负载和业务访问 |
importing | 目标节点正在接收该Slot的数据 | 关注目标内存、复制压力和导入是否长期不结束 |
ASK | 某个键正在迁移,客户端应临时向目标节点请求 | 集群客户端应自动处理,持续升高说明迁移或热点存在问题 |
MOVED | Slot归属已经变化,客户端应更新路由表 | 批次切换时短暂增加可以接受,长期大量出现需检查客户端 |
TRYAGAIN | 目标键当前处于迁移相关的暂时不可重试状态 | 应带退避重试,持续出现时暂停扩大批次 |
CLUSTERDOWN | 集群无法提供正常服务或存在严重拓扑问题 | 立即停止迁移,优先恢复集群稳定性 |
可以用以下命令查看某个Slot的迁移关系。不同Redis版本对输出格式和子命令支持可能略有差异,执行前应先核对版本帮助信息:
redis-cli -h <source-host> -p <port> cluster getslotmigrating <slot>
redis-cli -h <target-host> -p <port> cluster getslotimporting <slot>
redis-cli -h <node-host> -p <port> cluster nodes
在 CLUSTER NODES 的Slot字段中,迁移中的Slot通常会出现特殊的迁移或导入标记,具体显示形式以实际版本为准。不要只看命令行工具显示的“已完成数量”,应同时确认源、目标两端的Slot状态已经稳定。
验证观察:结构、数据、业务三层都要通过
先验证集群结构
每个批次完成后,至少检查:
redis-cli -h <node-host> -p <port> cluster info
redis-cli --cluster check <node-host>:<port>
验收条件包括:
cluster_state:okcluster_slots_assigned为16384cluster_slots_ok为16384cluster_slots_fail为0- 迁移Slot不再长期处于
migrating或importing --cluster check没有报告未覆盖Slot或明显的节点归属异常- 主从复制链路保持正常
如果业务正在持续写入,迁移前后的键数量不一定相等。更适合比较的是重点Slot的趋势、抽样键的可读性以及业务操作结果,而不是要求每一次 COUNTKEYSINSLOT 都完全相同。
再验证数据和业务访问
数据验证应避免使用大范围阻塞操作。可以从应用侧抽取少量只读请求进行验证,并覆盖:
- 普通字符串、哈希、列表、集合、有序集合等常用数据类型。
- 带TTL的会话、验证码或临时状态。
- 使用Hash Tag的多键操作。
- 事务和Lua脚本。
- 迁移前已经存在、迁移过程中被更新过的键。
需要特别注意,Slot反向迁移并不等于数据恢复到变更前。迁移期间业务对键的更新应当保留在当前数据中,验证重点是键仍能从正确节点访问,而不是要求值回到旧版本。
业务层面至少观察:
- 读写成功率
- Redis命令超时率
MOVED、ASK、TRYAGAIN和CROSSSLOT计数- P95、P99延迟
- 连接池重连次数
- Pipeline和事务失败率
- 关键接口的业务错误率
MOVED 在批次完成时短暂增加通常是正常的;ASK 只应在迁移期间出现,并在Slot稳定后下降。TRYAGAIN持续增加、ASK在迁移完成后仍然存在,或者客户端频繁重复刷新拓扑,都应暂停下一批次并检查客户端实现。
观察同机数据库和基础资源
如果 Redis 和关系型数据库共用服务器,Redis迁移带来的网络和CPU消耗可能间接影响数据库。观察窗口中需要同时确认:
- 数据库查询P99是否偏离基线。
- 磁盘队列、I/O wait和日志刷盘延迟是否增加。
- Redis是否出现内存回收、淘汰或拒绝连接。
- 目标节点及其从节点的内存增长是否符合预期。
- 主从复制延迟是否持续扩大。
- 迁移网络流量是否影响业务网络或备份网络。
每个小批次可以观察5至15分钟,最终完成后至少覆盖一个完整业务高峰,或者覆盖既有变更规范要求的观察窗口。高峰业务明显存在昼夜差异时,不能只在低峰期观察几分钟就关闭变更。
回滚条件:先恢复稳定状态,再决定是否反向迁移
按变更阶段设计回滚路径
重分片回滚不是简单地执行一次相反方向的命令。应根据变更阶段选择路径。
| 变更阶段 | 典型触发条件 | 推荐处理 |
|---|---|---|
| 尚未开始迁移 | 备份、客户端或资源检查未通过 | 不启动变更,保留现状 |
| 小批次迁移中 | 延迟、内存、复制或数据库指标超过停止线 | 停止新增批次,记录当前Slot状态,优先让正在执行的单个迁移操作完成或恢复稳定 |
| 已完成部分Slot | 资源压力持续但数据访问正常 | 暂停扩容,必要时使用受控重分片把已完成Slot迁回有余量的节点 |
出现Slot未覆盖、CLUSTERDOWN或数据访问异常 | 集群结构或业务完整性受到影响 | 停止迁移,限制写入或进入维护模式,按故障恢复方案处理 |
| 需要恢复到严格历史时间点 | 发现数据损坏、误操作或业务写入不可接受 | 使用经过验证的协调备份或业务源数据恢复,不能只反向调整Slot归属 |
如果某些Slot已经完整迁移到目标节点,并且源节点仍有足够内存和网络余量,可以使用同样的受控重分片流程,将这些Slot从目标节点迁回源节点:
redis-cli --cluster reshard <any-master-host>:6379 \
--cluster-from <target-node-id> \
--cluster-to <source-node-id> \
--cluster-slots <completed-slot-count> \
--cluster-timeout 5000
这只是拓扑回滚,不是时间点数据回滚。迁移期间已经发生的业务写入仍然会被带回当前数据,不能恢复成迁移前的旧值。如果源节点已经没有足够资源,强行反向迁移可能进一步放大故障,此时应优先把新增迁移停止,并将已完成Slot迁往具备余量的健康节点。
不要用强制改Slot代替回滚
以下做法不应作为常规回滚手段:
- 直接执行
CLUSTER SETSLOT <slot> NODE <node-id>,跳过键迁移。 - 直接删除目标节点上的键,再把Slot指回源节点。
- 发现
importing或migrating后,未核对数据就强制执行CLUSTER RESET。 - 只恢复目标节点的RDB,忽略其他主节点和持续写入。
- 因为看到
MOVED就重启全部Redis节点。
强制修改Slot归属只改变路由元数据,不会自动搬运键。键实际保留在另一节点时,可能造成读不到、写入错误或数据分叉。若迁移中途异常,先保留源节点、目标节点、Slot状态和日志,确认数据位置后,再通过受支持的重分片流程完成当前Slot或恢复稳定归属。
最终回滚触发标准
变更负责人可以在变更单中采用以下类型的硬触发条件,并根据现有基线填写具体数值:
- 任意时刻出现
cluster_slots_fail > 0。 - 出现
CLUSTERDOWN、主节点失联或不可接受的主从复制中断。 ASK、TRYAGAIN或命令超时连续多个采样周期上升。- 应用P99延迟、错误率超过预设停止线,且短暂停止迁移后没有恢复。
- 目标节点内存接近上限,出现淘汰、拒绝连接或频繁 fork 压力。
- 同机数据库查询延迟或磁盘I/O达到业务不可接受范围。
- 迁移进度长时间无变化,Slot却持续处于
migrating或importing。 - 抽样发现键丢失、TTL异常、跨Slot事务失败或关键业务数据不可读。
触发后应立即停止后续批次,不要为了“把计划做完”继续扩大影响范围。先将集群恢复为稳定Slot归属,完成结构和业务验证;只有在源、目标节点资源和数据状态均明确的情况下,才执行反向重分片。若目标是恢复到历史数据状态,则应转入经过验证的备份恢复或业务数据重建流程。
观察窗口结束的条件应同时满足:所有Slot回到稳定归属、集群状态正常、复制延迟恢复基线、ASK和TRYAGAIN回落、业务错误率和延迟稳定,并且同机数据库未出现持续资源争用。只要其中任意一项重新达到回滚触发线,就应停止继续扩容或下线节点,重新评估迁移方案。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7980.html



