香港服务器数据库磁盘写入慢怎么排查?如何区分I/O延迟与日志写入压力

发布人:A5数据发布时间:2026-10-30 14:27阅读量:87

数据库写入变慢时,不要仅凭“磁盘使用率高”就判断是香港服务器的存储性能不足。真正需要区分的是:请求是否卡在数据库提交、数据库是否正在等待日志落盘、操作系统块设备是否出现排队,以及应用是否把网络往返或锁等待误认为磁盘慢。

判断“普通 I/O 延迟”还是“日志写入压力”,至少要同时观察三类时间:应用提交耗时、数据库 WAL/redo/binlog 的写入与同步耗时、操作系统设备的 await 和队列长度。日志压力可能最终表现为 I/O 延迟,但两者的根因和处理方式并不相同。

一、先确认“写入慢”到底慢在哪里

1. 明确影响范围和发生时间

先记录故障开始时间、持续时间和影响范围:

  • 所有写入请求变慢,还是只有某个库、表或接口变慢;
  • INSERT、UPDATE、批量导入和事务提交是否同时受影响;
  • 读请求是否正常;
  • 是否伴随连接数上升、锁等待、复制延迟或应用超时;
  • 问题是持续发生,还是只在备份、日志切割、批量任务期间出现。

如果只有某个接口变慢,而其他写入正常,优先检查该接口的事务大小、SQL 执行计划和锁等待。如果整个数据库实例的提交操作同时变慢,再进入系统磁盘和日志分支。

可以在故障期间先采集基础状态,以下命令均为查看操作,不会修改磁盘或数据库配置:

date
uptime
df -hT
df -ih
findmnt -T /var/lib/mysql
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS

/var/lib/mysql 只是 MySQL 常见路径,实际环境可能是 /data/mysql、/var/lib/postgresql 或独立挂载点,应替换为真实数据库目录。可以先通过数据库配置或进程参数确认路径,不要凭经验检查错误的分区。

2. 区分应用耗时、数据库耗时和设备耗时

一次事务提交可能经历以下链路:

  1. 应用通过网络发送 SQL;
  2. 数据库执行语句并等待锁;
  3. 数据库将 redo/WAL 或 binlog 写入日志缓冲区;
  4. 数据库调用 fsync 等机制要求数据落盘;
  5. 操作系统把请求提交给块设备;
  6. 存储设备完成写入并返回。

其中任何一层变慢,应用都可能看到“写入慢”。

例如,应用到香港服务器的网络往返时间如果是 30ms,而一个事务中连续发送 20 次必须等待返回的 SQL,即使磁盘只有 2ms 延迟,也可能额外产生约 600ms 的网络等待。这个现象属于网络往返和应用交互次数问题,不应直接归因于磁盘。

因此,应用监控最好拆出以下指标:

  • SQL 执行耗时;
  • 锁等待耗时;
  • 事务提交或 commit 耗时;
  • 数据库连接建立耗时;
  • 应用到数据库的网络往返时间;
  • 请求中 SQL 的次数和事务大小。

二、建立原因树:从容量到应用逐层排除

数据库写入变慢的原因通常可以分为六个分支:

写入变慢
├─ 容量:磁盘空间不足、inode耗尽、删除文件仍被进程占用
├─ 存储:设备延迟升高、队列堆积、云盘突发性能耗尽、底层I/O错误
├─ 文件系统:挂载异常、只读、文件系统错误、日志层级叠加
├─ 数据库日志:WAL/redo/binlog增长、fsync压力、checkpoint或刷盘追赶
├─ 数据库服务:锁等待、后台刷脏、复制、检查点、内存不足
└─ 应用与网络:事务设计、批量任务、连接往返、网络抖动

这棵原因树的关键是:先排除低风险、容易确认的问题,再分析需要结合数据库内部状态的分支,最后才考虑存储供应商或底层硬件。

三、第一层:检查容量、inode 和异常占用

1. 空间使用率高不一定只表现为“磁盘满”

检查空间和 inode:

df -hT
df -ih

需要分别关注:

  • 数据库所在挂载点的可用空间;
  • 数据库日志所在挂载点的可用空间;
  • inode 使用率;
  • 文件系统类型;
  • 是否存在单独挂载的 /var、/data、/tmp 或日志分区。

空间还有剩余但 inode 已经耗尽时,数据库仍可能无法创建新文件、临时表或日志文件。反过来,根分区空间正常,但 /var 或数据库独立分区已满,也会导致数据库写入失败或持续重试。

一般不建议用一个固定百分比判断所有环境。可以把 70%至80%作为容量趋势观察点,接近 85%至90%时安排处理;数据库日志、临时文件和备份目录如果增长很快,则应按剩余增长时间提前处理。

2. 找出占用空间的目录和文件

在确认磁盘空间异常后,可在业务低峰执行:

du -x -h --max-depth=1 /var 2>/dev/null | sort -h
du -x -h --max-depth=1 /data 2>/dev/null | sort -h

如果数据库目录很大,还应区分:

  • 数据文件;
  • redo/WAL 文件;
  • binlog 或归档日志;
  • 慢查询日志;
  • 应用日志;
  • 备份和临时文件。

查看删除但仍被进程打开的文件:

lsof +L1

日志文件被删除后,如果数据库或其他进程仍保持文件描述符,df 显示的空间不会立即释放。这种情况下,不能简单重复删除同名文件,应先确认占用进程和日志管理方式,再通过应用支持的日志轮转或重启流程释放空间。涉及重启前需要确认连接影响、备份状态和业务维护窗口。

3. inode 耗尽的常见来源

inode 异常通常不是单个大文件导致,而是大量小文件造成,例如:

  • 应用按请求生成临时文件;
  • 失败任务留下大量小日志;
  • 备份程序产生碎片化文件;
  • 容器或脚本不断创建临时目录;
  • 某些日志切割策略产生过多历史文件。

inode 使用率高但空间充足时,扩大云盘容量未必有效,因为问题可能在文件数量而不是字节容量。

四、第二层:确认块设备是否真的出现 I/O 延迟

1. 使用 iostat 观察设备级指标

Linux 环境通常可以使用 sysstat 提供的 iostat:

iostat -xz 1 5

重点观察数据库所在设备的:

  • r/s、w/s:每秒读写请求数;
  • rkB/s、wkB/s:每秒读写吞吐;
  • r_await、w_await:读写请求平均等待时间;
  • aqu-sz:平均队列长度;
  • %util:设备忙碌程度。

示例数据如下,仅用于说明判断方法:

设备w/sw_awaitaqu-sz%util可能含义
nvme0n1120048.6ms58.298.7%写请求排队明显,设备接近持续繁忙
nvme1n11803.1ms0.742.5%暂未看到明显设备级拥塞
vda802.4ms0.318.0%I/O 负载较轻,需检查数据库内部或应用层

这里的判断要结合平时基线。await 达到几十毫秒是否异常,取决于存储类型、业务历史延迟和请求大小;%util 也不能单独作为结论,尤其是支持并发队列的 NVMe 或虚拟化存储。更可靠的证据是:延迟相对基线明显上升,同时队列长度、写入请求数和数据库提交耗时同步升高。

2. 观察进程是否是主要写入来源

pidstat -d -p <数据库进程PID> 1 5

也可以配合:

vmstat 1 5

vmstat 中的 wa 较高,说明 CPU 有较多时间等待 I/O,但它不能说明究竟是数据库、备份程序、日志程序还是其他进程造成的。应结合 pidstat、iostat 和目录增长情况判断。

如果数据库进程写入量不高,但设备的 w/s 和 wkB/s 很高,应检查:

  • 备份任务;
  • 日志压缩或同步任务;
  • 监控采集程序;
  • 其他应用写入;
  • 同一物理卷上的多个实例;
  • 云平台共享存储上的其他负载。

3. 检查内核和设备错误

dmesg -T | egrep -i 'error|timeout|reset|I/O|blk|ext4|xfs'

使用 systemd 的系统也可以查看:

journalctl -k --since "-30 min"

重点关注 I/O timeout、设备 reset、文件系统错误、设备被切换为只读等信息。如果虚拟机无法访问底层硬件健康信息,不能用 smartctl 的结果替代云平台侧检查,应将设备名、发生时间、内核日志和延迟曲线提供给服务器或云盘服务商核查。

五、第三层:检查文件系统和挂载状态

1. 确认数据库目录的文件系统

findmnt -T /var/lib/mysql
lsblk -f

需要确认:

  • 数据库目录实际挂载在哪个设备;
  • 文件系统是 ext4、XFS 还是其他类型;
  • 是否与系统日志、应用日志共用同一设备;
  • 是否出现 ro 等只读挂载标志;
  • 数据库日志和数据文件是否位于同一挂载点。

如果数据文件和日志文件共用一个容量较小、性能有限的卷,日志突增会直接与数据页刷盘竞争。即使吞吐量没有达到设备上限,大量小写入和同步请求也可能让事务提交延迟明显增加。

2. 不要在挂载状态下直接修复文件系统

如果内核日志出现文件系统错误,不要在业务运行期间直接执行 fsck,也不要随意修改挂载参数。文件系统检查通常需要卸载或进入维护环境,必须先完成:

  • 数据库备份或快照;
  • 复制状态确认;
  • 业务影响评估;
  • 维护窗口安排;
  • 修复失败时的恢复方案。

ext4、XFS 的检查和修复工具并不完全相同,具体命令应以发行版和文件系统类型为准。无法确认文件系统类型时,应先执行 findmnt 和 lsblk -f,不要猜测工具。

六、第四层:识别日志写入压力,而不是把它当成普通磁盘慢

1. 数据库日志为什么会造成高提交延迟

多数数据库为了保证事务持久性,提交事务时需要把 redo、WAL 或 binlog 的相关内容写入并同步到持久化存储。以下情况都可能提高日志压力:

  • 大量小事务频繁提交;
  • 每个事务都触发同步落盘;
  • 批量导入产生大量 WAL 或 redo;
  • 更新大字段、创建索引或执行大批量删除;
  • checkpoint 或后台刷脏与前台提交同时发生;
  • 复制、归档或日志压缩任务跟不上;
  • 日志盘和数据盘位于同一设备;
  • 日志保留策略异常,导致目录持续增长。

日志压力不一定需要很高的连续带宽。比如日志增长速度为 120 MB/分钟:

  1. 每秒写入量为 120 ÷ 60 = 2 MB/s;
  2. 一天增长量为 120 × 60 × 24 = 172800 MB;
  3. 按十进制换算,即约 172.8 GB/天。

2 MB/s 的顺序写入未必能打满高性能磁盘,但如果被拆成大量小写入并频繁 fsync,仍可能造成较高的同步延迟和队列等待。

2. MySQL 或 MariaDB 的检查方向

可以查看 InnoDB 日志等待和同步相关状态:

SHOW GLOBAL STATUS WHERE Variable_name IN (
  'Innodb_log_waits',
  'Innodb_os_log_fsyncs',
  'Innodb_os_log_pending_fsyncs',
  'Innodb_os_log_pending_writes'
);

SHOW ENGINE INNODB STATUS\G

还可以检查 binlog 是否开启以及历史日志数量:

SHOW VARIABLES LIKE 'log_bin';
SHOW BINARY LOGS;

判断时重点看:

  • Innodb_log_waits 是否在故障期间持续增加;
  • pending fsync 或 pending writes 是否长期不为零;
  • redo 日志空间是否不足以承接当前写入峰值;
  • binlog 是否快速增长;
  • 是否存在大事务、长事务或复制延迟;
  • 数据库目录与 binlog 目录是否共用设备。

如果 Innodb_log_waits 持续增加,同时 iostat 显示写延迟和队列升高,通常可以认为数据库日志写入正在放大存储压力。但这仍不代表只要扩大 redo 就能解决问题,因为底层设备延迟、事务提交模式和日志盘竞争都可能是根因。

3. PostgreSQL 的检查方向

较新版本 PostgreSQL 可以查看 WAL 统计信息:

SELECT now(),
       wal_bytes,
       wal_buffers_full,
       wal_write,
       wal_sync,
       wal_write_time,
       wal_sync_time
FROM pg_stat_wal;

不同 PostgreSQL 版本的字段可能不同,执行报错时应先查看对应版本的系统视图定义,不要直接套用其他版本的查询。

同时检查活跃会话和等待事件:

SELECT pid,
       usename,
       state,
       wait_event_type,
       wait_event,
       query
FROM pg_stat_activity
WHERE state <> 'idle';

需要关注:

  • wal_sync_time 是否随提交延迟同步上升;
  • wal_buffers_full 是否持续增长;
  • WAL 生成速度是否突然增加;
  • checkpoint 是否频繁或被迫触发;
  • 归档、复制槽或长事务是否阻止 WAL 清理;
  • 会话是否在锁、客户端写入或其他等待事件上停留。

如果 WAL 目录快速增长,但设备延迟并不高,应重点排查归档失败、复制槽滞后、长事务和保留策略。不要直接删除 WAL 文件,否则可能破坏数据库恢复链或复制关系。

七、如何区分“I/O 延迟”和“日志写入压力”

两者不是完全互斥的概念。日志写入压力可能是造成 I/O 延迟的业务原因,而 I/O 延迟也可能反过来让日志清理、checkpoint 和事务提交全部变慢。可以按照下面的特征组合判断。

观察维度更像普通存储 I/O 延迟更像日志写入压力
设备指标await、队列和 %util 同时升高只有数据库提交或同步写入明显变慢,设备指标可能中等
数据库日志WAL/redo/binlog 增长没有明显变化日志增长速度、fsync 次数或同步耗时明显上升
进程写入多个进程或备份任务都在写数据库进程是主要写入来源
数据库状态可能伴随所有读写操作变慢commit、WAL flush、redo 等待更突出
分离日志盘后数据盘和日志盘都可能受影响日志盘延迟下降后,提交延迟明显恢复
根因方向云盘性能、底层设备、共享存储、文件系统事务模型、批量任务、日志保留、checkpoint、复制
处理重点降低并发写入、迁移或扩容存储、排查设备优化事务批次、日志策略、归档复制和数据库参数

一个典型的“普通 I/O 延迟”示例是:数据库进程、备份程序同时写入同一块盘,w_await 从平时 3ms 升到 50ms,aqu-sz 持续增长,多个服务的写入都变慢。

一个典型的“日志写入压力”示例是:应用发布后小事务数量增加,WAL 或 redo 增长速度变为平时数倍,数据库 commit p95 上升,日志同步耗时同步增加;此时即使设备吞吐量没有达到上限,提交仍可能被大量同步写入拖慢。

如果设备 await 只有 2至3ms,但应用提交耗时达到 200ms,同时数据库会话显示锁等待 160ms,那么主要问题更可能是锁竞争,而不是磁盘。

八、按低风险顺序逐层排除

第一步:保存故障现场

在问题持续时记录一组连续数据,而不是只执行一次命令:

iostat -xz 1 10
vmstat 1 10
pidstat -d -p <数据库进程PID> 1 10
df -hT
df -ih

同时记录数据库侧的日志统计、活跃会话、锁等待和事务提交耗时。单次采样可能正好错过高峰,连续 10 秒只能用于快速判断;如果问题间歇性出现,应使用监控系统保存更长时间窗口。

第二步:排除容量和 inode

如果数据库分区空间或 inode 接近耗尽,先停止无关的批量任务和备份任务,确认备份可用后,再按照日志轮转、数据库归档或扩容流程处理。

不要直接执行以下类型的操作:

  • rm -rf 删除未知目录;
  • 手工删除当前正在使用的 binlog、WAL 或 redo 文件;
  • 直接截断数据库日志文件;
  • 未确认复制状态就执行 binlog 清理;
  • 未做快照或备份就调整分区和文件系统。

清理日志前必须确认日志用途、保留要求、备份可恢复性和复制依赖。对数据库日志,应优先使用数据库原生的轮转、归档和保留机制。

第三步:把数据库写入与其他写入分开

确认数据库进程是否是设备主要写入来源。如果设备很忙但数据库写入量一般,先检查同一挂载点上的备份、压缩、日志同步和其他服务。

如果数据库和应用日志共用同一块盘,可以先安排非关键任务错峰,观察 w_await、队列和提交延迟是否同步下降。这种操作比直接改数据库参数更容易回退,影响也更可控。

第四步:对照数据库日志统计

将以下时间点对齐:

  • 日志增长速度;
  • 数据库 commit p95/p99;
  • WAL/redo/binlog fsync 次数;
  • wal_sync_time 或 InnoDB 日志等待;
  • 设备 w_await 和 aqu-sz;
  • checkpoint、复制和归档状态。

如果这些指标在同一时间上升,说明日志写入与存储延迟存在较强关联。如果只有日志增长而设备等待不高,则优先检查日志保留、归档和复制;如果只有设备等待升高而日志量稳定,则优先检查存储或其他写入进程。

八、按低风险顺序逐层排除配图

第五步:检查锁、事务和应用行为

当设备延迟不高时,继续查看数据库内部等待:

  • MySQL/MariaDB 的锁等待、长事务和 SHOW PROCESSLIST;
  • PostgreSQL 的 pg_stat_activity、锁等待和长事务;
  • 大批量更新、索引创建、表维护和备份;
  • 应用是否把单条写入放在独立事务中;
  • ORM 是否产生大量重复提交;
  • 是否在高峰期执行了同步导入。

数据库写入慢并不一定是磁盘慢。数据库等待锁、等待客户端继续发送数据、等待复制确认,都可能让应用显示较长的提交时间。

第六步:检查网络对感知延迟的影响

香港服务器常被用于跨地区业务,应用服务器和数据库服务器可能不在同一网络位置。此时应通过应用链路追踪或数据库客户端统计确认:

  • 建连耗时;
  • SQL 往返耗时;
  • 单次请求包含的 SQL 数量;
  • 是否存在丢包和重传;
  • 数据库连接池是否耗尽。

ping 只能提供基础连通性参考,不能代表数据库协议的真实提交耗时。若网络 RTT 稳定但数据库 commit 时间与 wal_sync_time 同步升高,网络通常不是主要根因;若数据库本地执行和落盘都很快,而应用耗时随网络路径变化,则应排查网络和事务交互方式。

九、定位根因后的处理边界

1. 容量或 inode 问题

处理方向通常是:

  • 调整日志保留和轮转;
  • 清理已确认无用的临时文件;
  • 迁移备份和归档文件;
  • 扩容对应挂载点;
  • 将高增长日志迁移到独立存储;
  • 修正大量小文件的生成逻辑。

扩容前应确认分区、逻辑卷和文件系统的层级关系,并先完成快照或备份。不同发行版和文件系统的扩容步骤不同,不能直接套用命令。

2. 存储延迟或设备异常

如果内核日志出现设备超时、I/O error 或文件系统只读,应优先保全数据并联系存储服务商或云平台核查底层设备。若只是性能不足,则需要根据写入 IOPS、吞吐、队列和延迟曲线评估:

  • 是否需要更高性能的云盘或本地盘;
  • 是否应将日志与数据拆分;
  • 是否应降低备份、压缩和批处理的并发;
  • 是否存在多个实例争用同一设备;
  • 是否可以把批量任务移到低峰期。

不要仅凭磁盘空间大小选择存储规格。数据库更关心同步写延迟、随机写 IOPS、队列行为和稳定性。

面向数据库及业务后台等写入型负载,A5idc数据提供香港物理服务器方案,涵盖Xeon Gold与AMD EPYC平台,并有搭配SSD或NVMe存储的配置,可为数据库文件、日志及多任务运行提供相应的计算与存储资源。不同配置也可结合业务规模和部署需求,承载网站、接口服务等业务。

3. 日志写入压力

处理方向应优先从业务和数据库工作负载入手:

  • 合并过小事务,减少无必要的频繁提交;
  • 为批量导入设计合理的批次大小;
  • 检查是否突然启用了大量审计、慢查询或调试日志;
  • 确认 WAL/redo/binlog 的保留和归档正常;
  • 排查长事务、复制延迟和归档失败;
  • 评估日志与数据是否需要分离存储。

不应为了掩盖问题而随意关闭持久化保障或降低数据库一致性级别。相关参数变化可能影响崩溃恢复和数据安全,必须先完成备份、明确业务可接受的数据风险,并准备回滚配置。

十、验证恢复:不能只看“磁盘使用率下降”

处理后应在相近业务负载下进行对比,至少观察一个完整的业务高峰或连续 10至15 分钟的稳定窗口:

  • 应用写入 p95/p99 是否恢复;
  • 数据库 commit、WAL/redo 同步耗时是否下降;
  • w_await、aqu-sz 和 %util 是否回到基线附近;
  • 日志增长速度是否恢复正常;
  • 数据库锁等待、复制延迟和归档状态是否正常;
  • df -hT 和 df -ih 是否仍有持续恶化趋势;
  • 内核日志是否继续出现 I/O 错误。

例如,清理日志后空间从 92% 降到 65%,但 w_await 仍持续 40ms,说明容量问题只是表象,存储延迟或数据库写入模式仍未解决。反过来,如果设备延迟恢复到 3ms左右、日志同步耗时下降、提交 p99 同步恢复,才可以认为本次根因得到验证。

需要持续监控的复发信号

为了避免同类问题再次发生,建议针对香港服务器上的数据库目录建立分层监控,而不是只设置一个磁盘空间告警。

主机与文件系统

  • 挂载点可用空间和增长速度;
  • inode 使用率;
  • 数据目录、日志目录和备份目录大小;
  • 磁盘读写 IOPS、吞吐、await、队列长度;
  • 文件系统只读状态;
  • 内核 I/O timeout、reset 和 error 日志。

数据库服务

  • commit p95/p99;
  • WAL/redo/binlog 生成速率;
  • fsync 次数和同步耗时;
  • 日志等待计数;
  • checkpoint 频率和耗时;
  • 长事务、锁等待和连接池等待;
  • 复制延迟、归档延迟和日志保留量。

应用与网络

  • 应用到数据库的连接耗时;
  • 单个请求的 SQL 次数;
  • 网络 RTT、重传和丢包;
  • 批量任务、导入任务和备份任务的运行时间;
  • 写入失败、超时和重试次数。

告警最好同时包含“当前值”和“相对基线的变化”。例如,设备 await 持续超过平时三倍且队列不断增长,比单独设置“超过某个固定毫秒数”更有判断价值;日志增长速度突然达到过去同一时段均值的数倍,也应先触发容量和数据库日志联合排查。这样才能在磁盘真正写满之前,区分是存储 I/O 延迟、数据库日志压力,还是网络、锁等待与应用事务设计造成的写入变慢。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6617.html

相关推荐