美国服务器运行ClickHouse,慢查询应先检查哪些资源指标
在美国服务器上运行 ClickHouse,慢查询不应先凭感觉增加 CPU、内存或磁盘。第一步应把应用端延迟拆成三部分:查询在 ClickHouse 内部执行了多久、请求在连接池或队列中等待了多久、结果返回到业务端花了多久。优先查看 query_duration_ms、read_rows、read_bytes、峰值内存、活动查询数,再对照主机的 CPU、内存、磁盘延迟和网络指标。

如果 ClickHouse 的服务端查询耗时只有 300 毫秒,而美国服务器部署在美洲、业务应用位于亚洲或欧洲,应用端却显示 1.5 秒,那么问题通常不在 SQL 扫描本身;反过来,如果服务端查询已经耗时 8 秒,且读取了数百 GB 数据,就应先分析排序键、分区裁剪、磁盘 I/O 或聚合内存,而不是先调整网络参数。
针对ClickHouse在美国部署中的查询延迟、并发计算与数据读取需求,A5数据提供美国物理服务器资源,覆盖常规Xeon与AMD EPYC平台,并配备不同规格的内存与NVMe存储。相关方案可承载分析型数据库、跨境业务后台及多任务计算,结合CN2 GIA等线路选项,为服务端资源监控和跨区域访问分析提供硬件与网络基础。
先确定慢查询测试目标
慢查询分析的目标不是找出一个孤立的“高 CPU”或“高磁盘占用”指标,而是回答以下问题:
- 延迟发生在 ClickHouse 执行阶段,还是应用连接池、网络传输阶段?
- 查询慢是因为读取数据量过大,还是因为 CPU 计算、聚合、排序或 JOIN 成本过高?
- 查询执行时是否与后台合并、数据写入、其他并发查询争抢资源?
- 当前资源已经达到容量边界,还是 SQL 本身仍有明显优化空间?
建议先固定一个查询指纹和时间窗口,例如同一条报表 SQL、同一个时间范围、相同的过滤条件,连续观察 5 至 15 分钟。不要只看一次执行结果,至少记录平均值、P50、P95 和 P99。
P50 反映常态,P95 反映大多数用户能感受到的尾延迟,P99 更适合发现偶发的磁盘排队、后台合并或内存压力。平均值正常而 P95、P99 很高,往往意味着并发、I/O 排队或资源争用,而不是每次查询都执行缓慢。
先区分三个时间
应用端记录的总耗时可以近似拆分为:
总耗时 = 连接池等待时间 + 建立或复用连接时间 + ClickHouse 执行时间 + 结果传输与客户端处理时间
其中,ClickHouse 的 query_duration_ms 主要用于观察服务端执行阶段,不能代表整个请求链路。建议同时记录:
- 应用端请求开始时间和结束时间;
- 从连接池获取连接所花的时间;
- ClickHouse 返回响应头或首个数据包的时间;
- 完整结果读取完成的时间;
- 请求结果大小和网络连接复用情况。
如果应用端没有连接池等待字段,可以先通过活动查询数和应用连接池状态进行对照,避免把排队耗时误判成数据库执行耗时。
第一优先级:查询级延迟和读取量
query_duration_ms:确认慢在数据库内部
system.query_log 是分析已完成查询的主要入口。以下查询用于查看最近一段时间内耗时较高的查询,字段和 type 名称可能因 ClickHouse 版本略有差异,执行前可先检查本机表结构。
SELECT
event_time,
query_duration_ms,
read_rows,
formatReadableSize(read_bytes) AS read_size,
result_rows,
formatReadableSize(result_bytes) AS result_size,
formatReadableSize(memory_usage) AS peak_memory,
query
FROM system.query_log
WHERE type = 'QueryFinish'
AND event_time >= now() - INTERVAL 15 MINUTE
AND query NOT LIKE '%system.query_log%'
ORDER BY query_duration_ms DESC
LIMIT 20;
query_log 通常是查询结束后才写入,因此正在执行的查询应查看 system.processes:
SELECT
query_id,
user,
elapsed,
read_rows,
formatReadableSize(read_bytes) AS read_size,
formatReadableSize(memory_usage) AS memory_used,
query
FROM system.processes
ORDER BY elapsed DESC;
判断时不要只看耗时:

- 耗时高、
read_rows和read_bytes也高:优先检查分区裁剪、排序键、数据跳过索引和扫描范围。 - 耗时高、读取量不大但 CPU 高:优先检查聚合、排序、字符串函数、JSON 处理和 JOIN。
- 耗时高、读取量不大但磁盘等待高:优先检查磁盘延迟、后台合并和其他查询争用。
- ClickHouse 耗时低、应用耗时高:优先检查连接池、跨区域网络、结果集大小和客户端反序列化。
read_bytes 是 ClickHouse 查询层面的读取统计,不应直接等同于物理磁盘读量或网卡流量。它应当与主机磁盘吞吐、缓存命中情况以及结果集大小一起解释。
read_rows 和 read_bytes:确认查询是否读了不必要的数据
对于分析型查询,“扫描数据多”不一定是故障,但在过滤条件明确、结果集很小的场景下,如果仍然读取了接近整表的数据,就应检查表设计和查询条件是否匹配。
ClickHouse 的主要过滤能力来自:
- 分区键对分区的裁剪;
ORDER BY排序键形成的稀疏主索引;- 数据跳过索引;
- 对数据块、数据部分和标记文件的跳过。
它不是传统 OLTP 数据库中每行一个节点的 B-Tree 索引。即使查询写了 WHERE user_id = ...,如果 user_id 不在合适的排序键、分区键或数据跳过索引中,仍可能读取大量数据。
可以使用只读的执行计划检查索引和数据跳过情况:
EXPLAIN indexes = 1
SELECT
event_date,
user_id,
sum(amount)
FROM analytics.events
WHERE event_date >= '2025-01-01'
AND event_date < '2025-02-01'
AND user_id = 10001
GROUP BY event_date, user_id;
重点观察实际选择的分区、数据部分和 marks 数量。不同版本的输出格式可能不同,但判断原则一致:过滤条件是否让 ClickHouse 在读取阶段跳过了大量无关数据。
不要只用“查询结果只有几行”判断查询应该很快。聚合结果可能只有几行,但在聚合前已经扫描了数十亿行;此时应把 read_rows、read_bytes、CPU 时间和内存峰值放在一起看。
第二优先级:CPU、并发和执行队列
CPU 使用率不能脱离等待类型
Linux 主机上可先查看整体 CPU 分布:
mpstat -P ALL 1 5
关注以下几类时间:
usr:用户态计算,通常与 SQL 扫描、聚合、排序、函数处理有关;sys:内核态时间,可能与网络、文件系统或 I/O 调度有关;iowait:CPU 等待磁盘 I/O 的时间;steal:虚拟化环境中被宿主机暂时占用的 CPU 时间;- idle:空闲时间。
可以用下面的命令辅助观察运行队列、内存和 I/O 等待:
vmstat 1 5
CPU 持续达到 80% 至 90% 以上并不自动表示需要扩容。如果 usr 较高、iowait 较低,说明查询可能在有效使用 CPU,下一步应分析:
- 是否扫描了过多数据;
- 聚合键是否基数过高;
- 是否执行了高成本字符串或日期函数;
- 是否存在大表 JOIN;
- 是否设置了过高的并发线程数。
如果 CPU 总使用率不高,但 iowait 明显升高,增加 vCPU 通常不能解决问题。此时需要转向磁盘延迟、后台合并和并发读请求。
活动查询数反映并发压力
查看当前查询数量时,可以先执行:
SELECT
count() AS running_queries,
sum(elapsed) AS elapsed_sum,
max(elapsed) AS longest_elapsed
FROM system.processes;
也可以查看系统指标名称,避免不同版本中直接猜测指标名:
SELECT
metric,
value
FROM system.metrics
ORDER BY metric;
并发高时,每条查询的平均资源消耗可能并未变化,但 P95 和 P99 会明显上升。常见表现是:
- 单条查询在低并发下耗时稳定;
- 并发增加后,活动查询数持续堆积;
- CPU、磁盘或内存接近上限;
- 新请求在连接池或 ClickHouse 执行阶段排队;
- 吞吐量不再随并发增加而增长。
连接池需要单独观察。连接池过小会导致应用端排队,连接池过大则可能把大量查询同时推给 ClickHouse,造成 CPU、内存和磁盘队列拥塞。不能仅凭“连接数越多越快”作判断。
第三优先级:内存与临时数据
ClickHouse 的聚合、排序、JOIN 都可能产生较大的中间数据。慢查询期间应记录查询峰值内存和主机可用内存,而不是只看服务器总内存。
推荐同时观察:
- 查询级
memory_usage; - 主机
MemAvailable; - Swap 使用量和换入换出;
- 聚合、排序或 JOIN 是否产生临时文件;
- 多条高内存查询是否同时运行。
可以使用以下命令查看内存变化:
free -h
vmstat 1 5
可按以下方式解释:
- 查询峰值内存高,但主机仍有充足可用内存:问题可能是单条 SQL 的聚合或排序规模过大;
- 多条查询同时占用大量内存:问题更接近并发容量,而非单条 SQL;
MemAvailable长时间很低,且出现 Swap 活动:查询延迟可能被内存回收和磁盘换入换出放大;- 查询被内存限制终止:不能简单地把
max_memory_usage调大,应先确认主机剩余内存和并发上限。
缓存也会影响结果。文件系统缓存、标记缓存和未压缩数据缓存可能让第二次执行明显快于第一次。复测时应区分:
- 冷缓存:模拟数据刚更新或缓存未命中的情况;
- 热缓存:重复访问相同数据的常态;
- 混合负载:一部分查询命中缓存,另一部分读取新数据。
如果只拿热缓存结果作为容量依据,业务在数据更新、重启或查询范围变化后可能出现较大的延迟波动。
第四优先级:磁盘延迟、吞吐和后台合并
查询读取量大时,磁盘指标往往比磁盘容量更重要。需要同时看:
- 读写吞吐;
- IOPS;
await平均 I/O 完成时间;util设备忙碌比例;- 请求队列长度;
- Linux
iowait; - ClickHouse 是否正在执行后台合并、Mutation 或数据写入。
Linux 主机可以使用:
iostat -xz 1 5
如果系统没有 iostat,可先使用 vmstat 判断是否存在明显 I/O 等待,再安装与发行版匹配的监控工具。不要把某一块磁盘的 util 直接当成整台服务器的磁盘利用率;ClickHouse 可能通过多个磁盘或存储卷提供数据。
ClickHouse 后台合并会与查询共享存储资源。可以查看当前合并任务:
SELECT
database,
table,
elapsed,
progress,
num_parts
FROM system.merges
ORDER BY elapsed DESC;
以下情况通常指向存储或后台任务争用:
- 查询
read_bytes较高; - CPU 使用率不高;
iowait和磁盘await同时升高;- 查询延迟在后台合并开始后明显增加;
- 查询结束后延迟又恢复。
如果磁盘吞吐已经接近设备能力,继续增加查询并发通常只会增加队列和尾延迟。此时应先减少无效扫描、错开批量写入与报表查询、优化分区和数据部分数量,再评估更高性能的存储。
第五优先级:跨区域网络与结果集传输
美国服务器的地理位置会影响业务端到数据库端的往返时延,但不能用网络延迟解释所有慢查询。判断网络是否是主因,需要把服务端执行时间与应用端总时间进行对比。
例如,以下是一个用于说明判断方法的模拟数据:
| 场景 | ClickHouse P95 | 应用端 P95 | 结果集大小 | CPU | iowait | 初步判断 |
|---|---|---|---|---|---|---|
| A:扫描范围过大 | 7.8 秒 | 8.1 秒 | 2 MB | 87% | 5% | SQL 计算或读取量过大 |
| B:存储排队 | 4.9 秒 | 5.3 秒 | 3 MB | 34% | 31% | 磁盘延迟或后台任务争用 |
| C:跨区域返回结果 | 0.42 秒 | 2.6 秒 | 40 MB | 28% | 4% | 网络传输、连接或客户端处理 |
在场景 C 中,若链路有效带宽约为 200 Mbps,结果集按十进制 40 MB 计算,理论传输时间约为:
40 MB × 8 ÷ 200 Mbps = 1.6 秒
再加上往返时延、协议处理、TLS、客户端解压和反序列化,总耗时达到 2 秒以上并不奇怪。这里的 MB 是十进制兆字节,Mbps 是兆比特每秒,不能直接把 40 MB 除以 200 Mbps。
因此,跨区域部署时应重点查看:
- 业务应用到美国服务器的 RTT;
- 连接是否复用;
- 连接池获取连接是否排队;
result_bytes是否远大于业务实际需要;- 客户端是否在数据库返回后进行大量解压、转换或序列化;
- 是否把明细数据跨区域传输,而不是在数据库侧完成聚合。
如果服务端查询耗时稳定且较低,优化方向就不应优先放在 ClickHouse 的排序键或磁盘上。
用资源组合解释结果,而不是单看一个指标
下面几种组合对定位问题更有价值:
CPU 高、读取量高、I/O 等待低
这通常表示查询正在进行大量扫描或计算。优先检查:
- 时间条件是否命中分区;
- 过滤字段是否与
ORDER BY顺序匹配; - 是否需要补充合适的数据跳过索引;
- 聚合前是否可以先过滤或预聚合;
- 是否存在对列逐行执行的复杂函数。
如果查询读取行数接近整个时间范围内的数据规模,扩容 CPU 只能缓解计算阶段,不能减少扫描成本。
CPU 不高、I/O 等待高、磁盘队列长
这类问题通常与存储延迟相关。优先检查:
- 查询读取量是否过大;
- 后台合并是否集中发生;
- 是否有批量写入、Mutation 与查询同时运行;
- 数据盘是否存在吞吐或 IOPS 限制;
- 多个 ClickHouse 数据目录是否争用同一设备。
不要在这种情况下盲目提高 max_threads。更多线程可能产生更多并发读请求,使磁盘队列更长。
内存高、CPU 中等、延迟随并发快速上升
这通常是聚合、排序或 JOIN 的内存压力。可先确认:
- GROUP BY 或 JOIN 的键基数;
- 是否一次读取了过大的时间范围;
- 是否出现外部聚合或外部排序;
- 并发查询是否共享同一内存上限;
- 查询是否返回了不必要的明细列。
降低单条查询扫描范围、控制并发和优化查询形态,通常比单纯增加内存上限更稳妥。
服务端耗时低、应用端耗时高
此时应把重点转向:
- 应用连接池等待;
- 跨区域 RTT;
- 结果集大小;
- HTTP 或 TCP 连接复用;
- 客户端解压、反序列化和业务层处理。
这类问题不应通过增加 ClickHouse CPU 或调整 MergeTree 索引来解决。
参考监控阈值与决策边界
以下数值适合作为初步警戒线,不是所有实例都适用的硬性标准。实际边界应以同一台美国服务器、同一数据集和同一查询负载下的基线为准。
| 观察项 | 可作为警戒的现象 | 下一步方向 |
|---|---|---|
| P95/P50 | P95 长期超过 P50 的约 2 倍 | 查并发、I/O 排队、缓存冷热和后台任务 |
| CPU | 持续超过 80% 至 90%,且 iowait 较低 | 查扫描量、聚合、函数和 JOIN |
| iowait | 持续超过约 15% 至 20%,并伴随磁盘 await 上升 | 查存储延迟、后台合并和读取量 |
| 内存 | 可用内存长期低于约 10% 至 15%,或出现 Swap 活动 | 降低并发、缩小查询范围或增加内存 |
| 读取量 | 选择性查询仍接近扫描整个目标数据范围 | 查分区、排序键和数据跳过能力 |
| 活动查询数 | 并发增加后吞吐不再增加,P95 快速上升 | 判断执行队列和资源饱和点 |
| 应用与服务端耗时差 | 应用耗时明显高于 query_duration_ms | 查连接池、网络和结果集处理 |
这些阈值必须结合业务类型解释。离线报表允许较长延迟,实时接口则可能要求更严格的 P95;低并发大扫描和高并发小查询的瓶颈也不同。
复测条件与容量判断方法
每次优化后应保持以下条件尽量一致:
- 使用同一批数据或相同数据范围;
- 固定查询 SQL、查询设置和返回列;
- 分别测试冷缓存、热缓存和混合缓存;
- 记录至少 5 分钟的稳定窗口;
- 分别测试低并发、目标并发和接近饱和的并发;
- 同时采集 ClickHouse 查询日志、主机资源和应用端延迟。
容量判断可以使用“吞吐量 × 平均执行时间 ≈ 平均活动并发数”这一近似关系。例如,某类查询稳定吞吐为每秒 4 次,平均执行时间为 1.5 秒,则平均活动查询数约为:

4 次/秒 × 1.5 秒 = 6 个活动查询
如果继续提升到每秒 6 次时,活动查询数接近 9 个,同时 P95、磁盘队列或内存占用明显上升,就说明当前资源可能在 8 至 10 个同类并发附近进入饱和区。实际生产容量不应取这个拐点作为目标,而应保留一部分余量,用于应对后台合并、数据增长和跨区域流量波动。
最终的优化顺序通常应是:先用服务端查询耗时确认问题是否在 ClickHouse 内部,再用读取量判断扫描范围,用 CPU、内存和磁盘指标定位主要资源,最后检查连接池与跨区域传输。只有在复测中确认 SQL 扫描合理、资源利用率仍达到容量边界时,才适合通过增加 vCPU、内存或更换存储来扩容。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4786.html



