香港服务器数据库磁盘写入慢怎么排查?如何区分I/O延迟与日志写入压力
数据库写入变慢时,不要仅凭“磁盘使用率高”就判断是香港服务器的存储性能不足。真正需要区分的是:请求是否卡在数据库提交、数据库是否正在等待日志落盘、操作系统块设备是否出现排队,以及应用是否把网络往返或锁等待误认为磁盘慢。
判断“普通 I/O 延迟”还是“日志写入压力”,至少要同时观察三类时间:应用提交耗时、数据库 WAL/redo/binlog 的写入与同步耗时、操作系统设备的 await 和队列长度。日志压力可能最终表现为 I/O 延迟,但两者的根因和处理方式并不相同。
一、先确认“写入慢”到底慢在哪里
1. 明确影响范围和发生时间
先记录故障开始时间、持续时间和影响范围:
- 所有写入请求变慢,还是只有某个库、表或接口变慢;
INSERT、UPDATE、批量导入和事务提交是否同时受影响;- 读请求是否正常;
- 是否伴随连接数上升、锁等待、复制延迟或应用超时;
- 问题是持续发生,还是只在备份、日志切割、批量任务期间出现。
如果只有某个接口变慢,而其他写入正常,优先检查该接口的事务大小、SQL 执行计划和锁等待。如果整个数据库实例的提交操作同时变慢,再进入系统磁盘和日志分支。
可以在故障期间先采集基础状态,以下命令均为查看操作,不会修改磁盘或数据库配置:
date
uptime
df -hT
df -ih
findmnt -T /var/lib/mysql
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
/var/lib/mysql 只是 MySQL 常见路径,实际环境可能是 /data/mysql、/var/lib/postgresql 或独立挂载点,应替换为真实数据库目录。可以先通过数据库配置或进程参数确认路径,不要凭经验检查错误的分区。
2. 区分应用耗时、数据库耗时和设备耗时
一次事务提交可能经历以下链路:
- 应用通过网络发送 SQL;
- 数据库执行语句并等待锁;
- 数据库将 redo/WAL 或 binlog 写入日志缓冲区;
- 数据库调用
fsync等机制要求数据落盘; - 操作系统把请求提交给块设备;
- 存储设备完成写入并返回。
其中任何一层变慢,应用都可能看到“写入慢”。
例如,应用到香港服务器的网络往返时间如果是 30ms,而一个事务中连续发送 20 次必须等待返回的 SQL,即使磁盘只有 2ms 延迟,也可能额外产生约 600ms 的网络等待。这个现象属于网络往返和应用交互次数问题,不应直接归因于磁盘。
因此,应用监控最好拆出以下指标:
- SQL 执行耗时;
- 锁等待耗时;
- 事务提交或 commit 耗时;
- 数据库连接建立耗时;
- 应用到数据库的网络往返时间;
- 请求中 SQL 的次数和事务大小。
二、建立原因树:从容量到应用逐层排除
数据库写入变慢的原因通常可以分为六个分支:
写入变慢
├─ 容量:磁盘空间不足、inode耗尽、删除文件仍被进程占用
├─ 存储:设备延迟升高、队列堆积、云盘突发性能耗尽、底层I/O错误
├─ 文件系统:挂载异常、只读、文件系统错误、日志层级叠加
├─ 数据库日志:WAL/redo/binlog增长、fsync压力、checkpoint或刷盘追赶
├─ 数据库服务:锁等待、后台刷脏、复制、检查点、内存不足
└─ 应用与网络:事务设计、批量任务、连接往返、网络抖动
这棵原因树的关键是:先排除低风险、容易确认的问题,再分析需要结合数据库内部状态的分支,最后才考虑存储供应商或底层硬件。
三、第一层:检查容量、inode 和异常占用
1. 空间使用率高不一定只表现为“磁盘满”
检查空间和 inode:
df -hT
df -ih
需要分别关注:
- 数据库所在挂载点的可用空间;
- 数据库日志所在挂载点的可用空间;
- inode 使用率;
- 文件系统类型;
- 是否存在单独挂载的
/var、/data、/tmp或日志分区。
空间还有剩余但 inode 已经耗尽时,数据库仍可能无法创建新文件、临时表或日志文件。反过来,根分区空间正常,但 /var 或数据库独立分区已满,也会导致数据库写入失败或持续重试。
一般不建议用一个固定百分比判断所有环境。可以把 70%至80%作为容量趋势观察点,接近 85%至90%时安排处理;数据库日志、临时文件和备份目录如果增长很快,则应按剩余增长时间提前处理。
2. 找出占用空间的目录和文件
在确认磁盘空间异常后,可在业务低峰执行:
du -x -h --max-depth=1 /var 2>/dev/null | sort -h
du -x -h --max-depth=1 /data 2>/dev/null | sort -h
如果数据库目录很大,还应区分:
- 数据文件;
- redo/WAL 文件;
- binlog 或归档日志;
- 慢查询日志;
- 应用日志;
- 备份和临时文件。
查看删除但仍被进程打开的文件:
lsof +L1
日志文件被删除后,如果数据库或其他进程仍保持文件描述符,df 显示的空间不会立即释放。这种情况下,不能简单重复删除同名文件,应先确认占用进程和日志管理方式,再通过应用支持的日志轮转或重启流程释放空间。涉及重启前需要确认连接影响、备份状态和业务维护窗口。
3. inode 耗尽的常见来源
inode 异常通常不是单个大文件导致,而是大量小文件造成,例如:
- 应用按请求生成临时文件;
- 失败任务留下大量小日志;
- 备份程序产生碎片化文件;
- 容器或脚本不断创建临时目录;
- 某些日志切割策略产生过多历史文件。
inode 使用率高但空间充足时,扩大云盘容量未必有效,因为问题可能在文件数量而不是字节容量。
四、第二层:确认块设备是否真的出现 I/O 延迟
1. 使用 iostat 观察设备级指标
Linux 环境通常可以使用 sysstat 提供的 iostat:
iostat -xz 1 5
重点观察数据库所在设备的:
r/s、w/s:每秒读写请求数;rkB/s、wkB/s:每秒读写吞吐;r_await、w_await:读写请求平均等待时间;aqu-sz:平均队列长度;%util:设备忙碌程度。
示例数据如下,仅用于说明判断方法:
| 设备 | w/s | w_await | aqu-sz | %util | 可能含义 |
|---|---|---|---|---|---|
| nvme0n1 | 1200 | 48.6ms | 58.2 | 98.7% | 写请求排队明显,设备接近持续繁忙 |
| nvme1n1 | 180 | 3.1ms | 0.7 | 42.5% | 暂未看到明显设备级拥塞 |
| vda | 80 | 2.4ms | 0.3 | 18.0% | I/O 负载较轻,需检查数据库内部或应用层 |
这里的判断要结合平时基线。await 达到几十毫秒是否异常,取决于存储类型、业务历史延迟和请求大小;%util 也不能单独作为结论,尤其是支持并发队列的 NVMe 或虚拟化存储。更可靠的证据是:延迟相对基线明显上升,同时队列长度、写入请求数和数据库提交耗时同步升高。
2. 观察进程是否是主要写入来源
pidstat -d -p <数据库进程PID> 1 5
也可以配合:
vmstat 1 5
vmstat 中的 wa 较高,说明 CPU 有较多时间等待 I/O,但它不能说明究竟是数据库、备份程序、日志程序还是其他进程造成的。应结合 pidstat、iostat 和目录增长情况判断。
如果数据库进程写入量不高,但设备的 w/s 和 wkB/s 很高,应检查:
- 备份任务;
- 日志压缩或同步任务;
- 监控采集程序;
- 其他应用写入;
- 同一物理卷上的多个实例;
- 云平台共享存储上的其他负载。
3. 检查内核和设备错误
dmesg -T | egrep -i 'error|timeout|reset|I/O|blk|ext4|xfs'
使用 systemd 的系统也可以查看:
journalctl -k --since "-30 min"
重点关注 I/O timeout、设备 reset、文件系统错误、设备被切换为只读等信息。如果虚拟机无法访问底层硬件健康信息,不能用 smartctl 的结果替代云平台侧检查,应将设备名、发生时间、内核日志和延迟曲线提供给服务器或云盘服务商核查。
五、第三层:检查文件系统和挂载状态
1. 确认数据库目录的文件系统
findmnt -T /var/lib/mysql
lsblk -f
需要确认:
- 数据库目录实际挂载在哪个设备;
- 文件系统是 ext4、XFS 还是其他类型;
- 是否与系统日志、应用日志共用同一设备;
- 是否出现
ro等只读挂载标志; - 数据库日志和数据文件是否位于同一挂载点。
如果数据文件和日志文件共用一个容量较小、性能有限的卷,日志突增会直接与数据页刷盘竞争。即使吞吐量没有达到设备上限,大量小写入和同步请求也可能让事务提交延迟明显增加。
2. 不要在挂载状态下直接修复文件系统
如果内核日志出现文件系统错误,不要在业务运行期间直接执行 fsck,也不要随意修改挂载参数。文件系统检查通常需要卸载或进入维护环境,必须先完成:
- 数据库备份或快照;
- 复制状态确认;
- 业务影响评估;
- 维护窗口安排;
- 修复失败时的恢复方案。
ext4、XFS 的检查和修复工具并不完全相同,具体命令应以发行版和文件系统类型为准。无法确认文件系统类型时,应先执行 findmnt 和 lsblk -f,不要猜测工具。
六、第四层:识别日志写入压力,而不是把它当成普通磁盘慢
1. 数据库日志为什么会造成高提交延迟
多数数据库为了保证事务持久性,提交事务时需要把 redo、WAL 或 binlog 的相关内容写入并同步到持久化存储。以下情况都可能提高日志压力:
- 大量小事务频繁提交;
- 每个事务都触发同步落盘;
- 批量导入产生大量 WAL 或 redo;
- 更新大字段、创建索引或执行大批量删除;
- checkpoint 或后台刷脏与前台提交同时发生;
- 复制、归档或日志压缩任务跟不上;
- 日志盘和数据盘位于同一设备;
- 日志保留策略异常,导致目录持续增长。
日志压力不一定需要很高的连续带宽。比如日志增长速度为 120 MB/分钟:
- 每秒写入量为
120 ÷ 60 = 2 MB/s; - 一天增长量为
120 × 60 × 24 = 172800 MB; - 按十进制换算,即约
172.8 GB/天。
2 MB/s 的顺序写入未必能打满高性能磁盘,但如果被拆成大量小写入并频繁 fsync,仍可能造成较高的同步延迟和队列等待。
2. MySQL 或 MariaDB 的检查方向
可以查看 InnoDB 日志等待和同步相关状态:
SHOW GLOBAL STATUS WHERE Variable_name IN (
'Innodb_log_waits',
'Innodb_os_log_fsyncs',
'Innodb_os_log_pending_fsyncs',
'Innodb_os_log_pending_writes'
);
SHOW ENGINE INNODB STATUS\G
还可以检查 binlog 是否开启以及历史日志数量:
SHOW VARIABLES LIKE 'log_bin';
SHOW BINARY LOGS;
判断时重点看:
Innodb_log_waits是否在故障期间持续增加;- pending fsync 或 pending writes 是否长期不为零;
- redo 日志空间是否不足以承接当前写入峰值;
- binlog 是否快速增长;
- 是否存在大事务、长事务或复制延迟;
- 数据库目录与 binlog 目录是否共用设备。
如果 Innodb_log_waits 持续增加,同时 iostat 显示写延迟和队列升高,通常可以认为数据库日志写入正在放大存储压力。但这仍不代表只要扩大 redo 就能解决问题,因为底层设备延迟、事务提交模式和日志盘竞争都可能是根因。
3. PostgreSQL 的检查方向
较新版本 PostgreSQL 可以查看 WAL 统计信息:
SELECT now(),
wal_bytes,
wal_buffers_full,
wal_write,
wal_sync,
wal_write_time,
wal_sync_time
FROM pg_stat_wal;
不同 PostgreSQL 版本的字段可能不同,执行报错时应先查看对应版本的系统视图定义,不要直接套用其他版本的查询。
同时检查活跃会话和等待事件:
SELECT pid,
usename,
state,
wait_event_type,
wait_event,
query
FROM pg_stat_activity
WHERE state <> 'idle';
需要关注:
wal_sync_time是否随提交延迟同步上升;wal_buffers_full是否持续增长;- WAL 生成速度是否突然增加;
- checkpoint 是否频繁或被迫触发;
- 归档、复制槽或长事务是否阻止 WAL 清理;
- 会话是否在锁、客户端写入或其他等待事件上停留。
如果 WAL 目录快速增长,但设备延迟并不高,应重点排查归档失败、复制槽滞后、长事务和保留策略。不要直接删除 WAL 文件,否则可能破坏数据库恢复链或复制关系。
七、如何区分“I/O 延迟”和“日志写入压力”
两者不是完全互斥的概念。日志写入压力可能是造成 I/O 延迟的业务原因,而 I/O 延迟也可能反过来让日志清理、checkpoint 和事务提交全部变慢。可以按照下面的特征组合判断。
| 观察维度 | 更像普通存储 I/O 延迟 | 更像日志写入压力 |
|---|---|---|
| 设备指标 | await、队列和 %util 同时升高 | 只有数据库提交或同步写入明显变慢,设备指标可能中等 |
| 数据库日志 | WAL/redo/binlog 增长没有明显变化 | 日志增长速度、fsync 次数或同步耗时明显上升 |
| 进程写入 | 多个进程或备份任务都在写 | 数据库进程是主要写入来源 |
| 数据库状态 | 可能伴随所有读写操作变慢 | commit、WAL flush、redo 等待更突出 |
| 分离日志盘后 | 数据盘和日志盘都可能受影响 | 日志盘延迟下降后,提交延迟明显恢复 |
| 根因方向 | 云盘性能、底层设备、共享存储、文件系统 | 事务模型、批量任务、日志保留、checkpoint、复制 |
| 处理重点 | 降低并发写入、迁移或扩容存储、排查设备 | 优化事务批次、日志策略、归档复制和数据库参数 |
一个典型的“普通 I/O 延迟”示例是:数据库进程、备份程序同时写入同一块盘,w_await 从平时 3ms 升到 50ms,aqu-sz 持续增长,多个服务的写入都变慢。
一个典型的“日志写入压力”示例是:应用发布后小事务数量增加,WAL 或 redo 增长速度变为平时数倍,数据库 commit p95 上升,日志同步耗时同步增加;此时即使设备吞吐量没有达到上限,提交仍可能被大量同步写入拖慢。
如果设备 await 只有 2至3ms,但应用提交耗时达到 200ms,同时数据库会话显示锁等待 160ms,那么主要问题更可能是锁竞争,而不是磁盘。
八、按低风险顺序逐层排除
第一步:保存故障现场
在问题持续时记录一组连续数据,而不是只执行一次命令:
iostat -xz 1 10
vmstat 1 10
pidstat -d -p <数据库进程PID> 1 10
df -hT
df -ih
同时记录数据库侧的日志统计、活跃会话、锁等待和事务提交耗时。单次采样可能正好错过高峰,连续 10 秒只能用于快速判断;如果问题间歇性出现,应使用监控系统保存更长时间窗口。
第二步:排除容量和 inode
如果数据库分区空间或 inode 接近耗尽,先停止无关的批量任务和备份任务,确认备份可用后,再按照日志轮转、数据库归档或扩容流程处理。
不要直接执行以下类型的操作:
rm -rf删除未知目录;- 手工删除当前正在使用的 binlog、WAL 或 redo 文件;
- 直接截断数据库日志文件;
- 未确认复制状态就执行 binlog 清理;
- 未做快照或备份就调整分区和文件系统。
清理日志前必须确认日志用途、保留要求、备份可恢复性和复制依赖。对数据库日志,应优先使用数据库原生的轮转、归档和保留机制。
第三步:把数据库写入与其他写入分开
确认数据库进程是否是设备主要写入来源。如果设备很忙但数据库写入量一般,先检查同一挂载点上的备份、压缩、日志同步和其他服务。
如果数据库和应用日志共用同一块盘,可以先安排非关键任务错峰,观察 w_await、队列和提交延迟是否同步下降。这种操作比直接改数据库参数更容易回退,影响也更可控。
第四步:对照数据库日志统计
将以下时间点对齐:
- 日志增长速度;
- 数据库 commit p95/p99;
- WAL/redo/binlog fsync 次数;
wal_sync_time或 InnoDB 日志等待;- 设备
w_await和aqu-sz; - checkpoint、复制和归档状态。
如果这些指标在同一时间上升,说明日志写入与存储延迟存在较强关联。如果只有日志增长而设备等待不高,则优先检查日志保留、归档和复制;如果只有设备等待升高而日志量稳定,则优先检查存储或其他写入进程。

第五步:检查锁、事务和应用行为
当设备延迟不高时,继续查看数据库内部等待:
- MySQL/MariaDB 的锁等待、长事务和
SHOW PROCESSLIST; - PostgreSQL 的
pg_stat_activity、锁等待和长事务; - 大批量更新、索引创建、表维护和备份;
- 应用是否把单条写入放在独立事务中;
- ORM 是否产生大量重复提交;
- 是否在高峰期执行了同步导入。
数据库写入慢并不一定是磁盘慢。数据库等待锁、等待客户端继续发送数据、等待复制确认,都可能让应用显示较长的提交时间。
第六步:检查网络对感知延迟的影响
香港服务器常被用于跨地区业务,应用服务器和数据库服务器可能不在同一网络位置。此时应通过应用链路追踪或数据库客户端统计确认:
- 建连耗时;
- SQL 往返耗时;
- 单次请求包含的 SQL 数量;
- 是否存在丢包和重传;
- 数据库连接池是否耗尽。
ping 只能提供基础连通性参考,不能代表数据库协议的真实提交耗时。若网络 RTT 稳定但数据库 commit 时间与 wal_sync_time 同步升高,网络通常不是主要根因;若数据库本地执行和落盘都很快,而应用耗时随网络路径变化,则应排查网络和事务交互方式。
九、定位根因后的处理边界
1. 容量或 inode 问题
处理方向通常是:
- 调整日志保留和轮转;
- 清理已确认无用的临时文件;
- 迁移备份和归档文件;
- 扩容对应挂载点;
- 将高增长日志迁移到独立存储;
- 修正大量小文件的生成逻辑。
扩容前应确认分区、逻辑卷和文件系统的层级关系,并先完成快照或备份。不同发行版和文件系统的扩容步骤不同,不能直接套用命令。
2. 存储延迟或设备异常
如果内核日志出现设备超时、I/O error 或文件系统只读,应优先保全数据并联系存储服务商或云平台核查底层设备。若只是性能不足,则需要根据写入 IOPS、吞吐、队列和延迟曲线评估:
- 是否需要更高性能的云盘或本地盘;
- 是否应将日志与数据拆分;
- 是否应降低备份、压缩和批处理的并发;
- 是否存在多个实例争用同一设备;
- 是否可以把批量任务移到低峰期。
不要仅凭磁盘空间大小选择存储规格。数据库更关心同步写延迟、随机写 IOPS、队列行为和稳定性。
面向数据库及业务后台等写入型负载,A5idc数据提供香港物理服务器方案,涵盖Xeon Gold与AMD EPYC平台,并有搭配SSD或NVMe存储的配置,可为数据库文件、日志及多任务运行提供相应的计算与存储资源。不同配置也可结合业务规模和部署需求,承载网站、接口服务等业务。
3. 日志写入压力
处理方向应优先从业务和数据库工作负载入手:
- 合并过小事务,减少无必要的频繁提交;
- 为批量导入设计合理的批次大小;
- 检查是否突然启用了大量审计、慢查询或调试日志;
- 确认 WAL/redo/binlog 的保留和归档正常;
- 排查长事务、复制延迟和归档失败;
- 评估日志与数据是否需要分离存储。
不应为了掩盖问题而随意关闭持久化保障或降低数据库一致性级别。相关参数变化可能影响崩溃恢复和数据安全,必须先完成备份、明确业务可接受的数据风险,并准备回滚配置。
十、验证恢复:不能只看“磁盘使用率下降”
处理后应在相近业务负载下进行对比,至少观察一个完整的业务高峰或连续 10至15 分钟的稳定窗口:
- 应用写入 p95/p99 是否恢复;
- 数据库 commit、WAL/redo 同步耗时是否下降;
w_await、aqu-sz和%util是否回到基线附近;- 日志增长速度是否恢复正常;
- 数据库锁等待、复制延迟和归档状态是否正常;
df -hT和df -ih是否仍有持续恶化趋势;- 内核日志是否继续出现 I/O 错误。
例如,清理日志后空间从 92% 降到 65%,但 w_await 仍持续 40ms,说明容量问题只是表象,存储延迟或数据库写入模式仍未解决。反过来,如果设备延迟恢复到 3ms左右、日志同步耗时下降、提交 p99 同步恢复,才可以认为本次根因得到验证。
需要持续监控的复发信号
为了避免同类问题再次发生,建议针对香港服务器上的数据库目录建立分层监控,而不是只设置一个磁盘空间告警。
主机与文件系统
- 挂载点可用空间和增长速度;
- inode 使用率;
- 数据目录、日志目录和备份目录大小;
- 磁盘读写 IOPS、吞吐、
await、队列长度; - 文件系统只读状态;
- 内核 I/O timeout、reset 和 error 日志。
数据库服务
- commit p95/p99;
- WAL/redo/binlog 生成速率;
- fsync 次数和同步耗时;
- 日志等待计数;
- checkpoint 频率和耗时;
- 长事务、锁等待和连接池等待;
- 复制延迟、归档延迟和日志保留量。
应用与网络
- 应用到数据库的连接耗时;
- 单个请求的 SQL 次数;
- 网络 RTT、重传和丢包;
- 批量任务、导入任务和备份任务的运行时间;
- 写入失败、超时和重试次数。
告警最好同时包含“当前值”和“相对基线的变化”。例如,设备 await 持续超过平时三倍且队列不断增长,比单独设置“超过某个固定毫秒数”更有判断价值;日志增长速度突然达到过去同一时段均值的数倍,也应先触发容量和数据库日志联合排查。这样才能在磁盘真正写满之前,区分是存储 I/O 延迟、数据库日志压力,还是网络、锁等待与应用事务设计造成的写入变慢。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6617.html
