Linux连接跟踪表满了怎么排查,如何判断是连接激增还是超时未释放?

发布人:A5数据发布时间:2026-11-13 14:25阅读量:41

连接跟踪表接近上限或报满时,常见现象包括新建连接失败、NAT 或防火墙转发异常,以及内核日志出现 nf_conntrack: table full, dropping packet。但“连接数很高”不等于“连接跟踪表满”,而“表满”也不一定是连接突然暴增:短时间内大量新连接、连接长期滞留、超时配置不合适,都可能把表项推到上限。

排查时先确认是否真的触顶,再观察表项增长速度和连接状态;随后结合 CPU、内存、磁盘 I/O 与进程状态排除其他高负载因素。只有在确认根因后,才调整容量或超时,避免通过清空连接表等操作造成业务中断。

先确认连接跟踪表是否触顶

Linux 的 Netfilter 连接跟踪机制会为经过跟踪的连接维护状态记录,常见于有状态防火墙、NAT、容器网络和部分负载均衡场景。表项达到容量上限时,内核可能无法为新流量创建记录;已有连接是否继续正常,取决于具体规则、流量方向和网络路径,不能简单认为所有连接都会立即断开。

在 Linux 主机上先读取当前表项数和上限:

cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max

前者是当前跟踪表中的表项数量,后者是允许的最大数量。可以用下面的命令计算占用比例:

count=$(cat /proc/sys/net/netfilter/nf_conntrack_count)
max=$(cat /proc/sys/net/netfilter/nf_conntrack_max)
awk -v c="$count" -v m="$max" 'BEGIN {
  if (m > 0) printf "count=%d max=%d usage=%.1f%%\n", c, m, c/m*100
}'

例如,假设输出为 count=95000 max=100000 usage=95.0%,说明已接近上限,但仍需结合趋势和内核日志判断:这是短时间内冲高,还是长期维持在高位。单次读取不能说明增长速度,也不能证明已经发生丢包。

接着查看内核日志中的连接跟踪告警:

sudo journalctl -k --since "30 minutes ago" | grep -iE 'nf_conntrack|conntrack'

若系统没有使用 systemd 日志,也可查看内核环形缓冲区:

sudo dmesg -T | grep -iE 'nf_conntrack|conntrack'

重点关注类似 nf_conntrack: table full, dropping packet 的记录。出现该日志,且同一时间表项数接近上限,才是连接跟踪表容量不足的强证据。若日志没有告警但业务仍有连接异常,应继续检查防火墙规则、路由、应用监听和网络设备;日志可能被限速、轮转,或问题并不在连接跟踪表。

不同发行版、内核和网络命名空间的实现可能有差异。若上述路径不存在,先确认连接跟踪模块和相关文件是否可用:

ls /proc/sys/net/netfilter/
lsmod | grep -E 'nf_conntrack|nf_nat'

容器或网络命名空间环境中,宿主机与容器内看到的计数和参数未必代表同一范围。应在实际承载流量、应用相关网络规则的主机或网络命名空间内核对,并确认修改的是对应环境的参数。

由外到内排查:先看负载,再看连接变化

连接跟踪表报满常与高负载同时出现,但 CPU、内存或磁盘 I/O 高,并不能单独证明是连接表导致。排查时要把资源变化与表项变化放在同一时间窗口观察。

观察表项是快速增长还是持续不降

每隔数秒读取一次当前值,观察短时间趋势:

for i in 1 2 3 4 5; do
  date '+%F %T'
  printf 'count='
  cat /proc/sys/net/netfilter/nf_conntrack_count
  sleep 5
done

如果表项在几十秒内持续快速上升,优先怀疑新连接激增、扫描流量、重试风暴或业务流量突增。如果表项长期处于高位、增长不快且下降缓慢,则要进一步检查连接状态和超时释放情况。

这里的判断应使用连续读数,而不是固定阈值:不同主机的流量模式和容量差异很大。比如某台服务器平时表项只有几千,短时间涨到数万值得关注;另一台 NAT 网关长期维持几十万条记录,也可能是正常负载,但仍需确认峰值余量。

查看连接跟踪统计计数器

如果已安装 conntrack-tools,可以查看内核统计:

sudo conntrack -S

输出通常包含多个 CPU 的统计行。重点关注 insert_failed、drop、early_drop 等字段在观察窗口内是否增加。不同内核版本提供的字段可能不同,字段值也可能是累计计数,因此要比较两次采样的差值,而不是只看某个绝对数值。

  • insert_failed 或 drop 增长,表示连接跟踪处理出现插入失败或丢弃,需结合表项占用和内核日志判断是否因表满。
  • early_drop 增长,表示内核为缓解压力提前淘汰了部分记录;这并不等于业务无影响。
  • 计数器没有变化、表项也远未接近上限时,应转查其他网络或应用层故障。

可以先记录一次统计,等待一段时间后再记录并对比:

sudo conntrack -S
sleep 30
sudo conntrack -S

不要仅凭统计计数器存在非零值就认定当前仍在丢包,因为这些值通常会累积;需要确认其是否在故障时间窗口持续增长。

把连接跟踪状态与套接字状态区分开

查看主机上的套接字概况:

ss -s

如需查看 TCP 状态数量:

ss -ant | awk 'NR > 1 {state[$1]++} END {
  for (s in state) print s, state[s]
}' | sort

这能帮助识别 SYN-RECV、ESTAB、TIME-WAIT 等套接字状态,但 ss 统计的是当前主机套接字,不等同于连接跟踪表。某些经过转发或 NAT 的连接并不对应本机应用套接字;反过来,套接字状态和连接跟踪状态的生命周期也不完全一致。因此,不能用 ss 的总连接数直接代替 nf_conntrack_count。

若需查看连接跟踪表中的记录,可使用:

sudo conntrack -L

表项较多时,这条命令可能产生大量输出并增加排查干扰。先限定协议或状态,并控制输出规模;具体过滤选项以本机 conntrack --help 为准。例如先查看 TCP 记录的少量样本:

sudo conntrack -L -p tcp 2>/dev/null | head -n 30

若要观察新建和销毁事件,可短时间监听事件流:

sudo timeout 30 conntrack -E

事件量可能很大,避免长时间无过滤地运行。若短时间内 NEW 事件显著密集,且表项数同步上升,支持“新连接激增”的判断;如果新建事件不突出,但表中旧记录长时间不释放,则应检查状态和超时。

同步检查 CPU、内存、I/O 和进程状态

使用以下命令快速观察系统资源:

uptime
free -h
vmstat 1 5
ps -eo pid,ppid,stat,%cpu,%mem,comm --sort=-%cpu | head

uptime 可查看负载均值,但负载均值不等于 CPU 使用率;vmstat 中持续较高的运行队列、CPU 等待或交换活动,提示要进一步定位资源瓶颈。free -h 中应关注可用内存和交换区活动,不能仅因 used 较高就判定内存不足,因为 Linux 会使用内存作为缓存。

如安装了 iostat,可以查看磁盘 I/O:

iostat -xz 1 3

如果系统没有该命令,不要为了初步判断而临时安装或修改系统配置;可先用现有监控、vmstat 和进程信息确认是否有 I/O 等待。磁盘 I/O 饱和可能拖慢应用处理、导致连接积压,但不直接说明连接跟踪表满的根因。

检查高连接进程时可按端口或进程继续定位。例如先查看监听端口:

sudo ss -lntup

再结合应用日志、请求速率和连接池配置判断是否出现连接重试、健康检查过密或异常流量。进程状态为 D 的进程通常处于不可中断等待,常见于 I/O 等待;大量 R 状态进程可能表示 CPU 竞争。进程状态只是线索,不能单独用于判断连接表问题。

判断是连接激增,还是超时未释放

判断的关键不是某一刻“表项很多”,而是观察表项变化、连接状态和连接生命周期是否匹配业务预期。

观察结果更符合的情况下一步核对
表项数快速上升,NEW 事件密集,短时间内连接创建率明显增加新连接激增或重试风暴对照业务请求量、来源地址、目标端口及应用重试日志
表项数长期高位,新增速度不高,旧记录持续存在连接释放慢、超时过长或异常残留分协议、状态检查记录持续时间,并对照应用及防火墙配置
TIME-WAIT 套接字很多,但连接跟踪计数不高或变化不一致套接字状态现象,不足以证明 conntrack 满分别查看 ss 与 conntrack 数据,不要混为一个指标
连接跟踪表未接近上限,日志无表满记录根因可能不在 conntrack转查监听队列、应用线程、路由、防火墙规则及上游设备

新连接激增的典型线索

如果表项在短时间内明显增加,同时 NEW 事件、应用请求量或某类来源流量增加,通常更像连接激增。需要进一步区分正常流量峰值和异常行为:

  • 正常峰值通常能在业务请求、发布活动、批处理或流量调度记录中找到对应时间点。
  • 如果同一服务出现大量超时重试,重试可能进一步放大连接创建速率。应核对客户端重试次数、退避间隔、连接池和健康检查频率。
  • 若来源地址、目标端口或连接协议高度集中,需结合访问日志和防火墙日志确认是业务流量、扫描还是配置错误。不要只依据单一来源特征直接封禁,以免影响合法用户或上游节点。
  • 若进程的连接数和 CPU 同时陡增,可能是应用接受连接或处理请求的能力不足,导致积压和重试相互放大。

在假设场景中,表项数从 20 秒内的 3 万增长到 9 万,期间 NEW 事件密集、应用错误日志出现超时重试,那么应优先处理重试风暴或流量入口问题,而不是先缩短所有连接超时。

判断是连接激增,还是超时未释放配图

超时未释放的典型线索

连接跟踪记录具有协议和状态相关的超时;连接在应用侧关闭后,内核中的记录也未必立即消失。尤其是无状态 UDP 流量、异常中断的 TCP 会话或转发设备上的连接,可能在一段时间内保留记录。连接跟踪记录的存续时间由内核状态、流量情况和配置共同影响,不能仅凭 ss 中看不到套接字就认定记录泄漏。

可查看本机实际支持的超时参数:

sysctl -a 2>/dev/null | grep '^net.netfilter.nf_conntrack_.*timeout'

常见参数包括 TCP 不同状态的超时,以及 UDP 超时。参数名称和可用项会随内核版本变化,应以命令实际输出为准。若某类记录长期滞留,应先确认其协议、状态、最后活动时间和业务用途,再判断超时是否明显长于业务所需。

连接跟踪工具的输出格式和可展示字段受版本影响。可先查看帮助信息:

conntrack --help

如果工具无法显示记录年龄或活动时间,不要仅凭一次列表输出推断“超时未释放”;可以在间隔一段时间后重复采样,比较相同类型记录数量,并结合事件流、内核参数和应用侧生命周期判断。

需要特别注意:TIME-WAIT 是 TCP 套接字状态,不等于连接跟踪记录处于同名状态;长连接保持 ESTABLISHED 也未必是异常。判断超时是否过长,应以业务允许的空闲时间、应用保活机制和防火墙/NAT 路径要求为依据,而不是追求把所有超时调得很短。

按结果分支处理

确认是流量或连接创建速率突增

优先找出连接创建速率为什么上升,而不是先扩大表上限。

  1. 对照故障时间点的请求量、访问日志、定时任务、发布记录和流量调度记录,判断是否为预期峰值。
  2. 检查应用和客户端是否在失败后立即重试,确认是否存在重试无退避、重试次数过多或连接池失效。
  3. 检查健康检查、监控探测和批处理任务的频率,评估是否产生不必要的新连接。
  4. 对照来源、目标端口、协议和 NAT 路径,确认连接集中在哪个业务入口。
  5. 若属于非预期流量,按现有安全与变更流程在上游、入口或应用层处理,并验证规则不会误伤合法流量。

在根因尚未明确时,不建议仅通过封禁来源地址、清空连接跟踪表或一次性大幅提高上限来“消除告警”。封禁可能切断正常业务;清空表会让已有连接状态丢失,可能导致转发、NAT 或访问中断;盲目扩容则可能把内存压力转移到内核。

确认是记录释放慢或超时不匹配

先核对实际超时值、连接类型和业务空闲时长,再对单一协议或状态做小范围调整。缩短超时可以较快释放表项,但也可能使仍在使用的空闲连接失效,导致 NAT 映射提前消失、应用重连增加,甚至产生新的连接峰值。

变更前记录原值,并确认该参数是否由自动化、系统配置文件或容器网络管理工具维护:

sysctl net.netfilter.nf_conntrack_udp_timeout
sysctl net.netfilter.nf_conntrack_tcp_timeout_established

若实际参数不存在,按本机支持的参数名称核验,不要直接复制其他版本的配置。修改前应确认业务影响窗口、适用主机范围和恢复方式;先在单台或低风险节点验证,观察表项变化、连接错误和应用重连情况。若业务异常,恢复已记录的原值。

确认容量确实不足且流量合理

只有当连接数与正常业务规模相符、释放行为合理,但现有上限不足以覆盖峰值时,才考虑提高 nf_conntrack_max。提高上限不是免费的:表项会占用内核内存,系统还要为散列表和其他网络状态分配资源。具体内存开销受内核版本、架构和配置影响,不应使用一个固定的“每条连接占用多少字节”估算所有机器。

变更前记录当前值,并核对内存余量、峰值连接量和连接增长趋势:

sysctl net.netfilter.nf_conntrack_max
cat /proc/sys/net/netfilter/nf_conntrack_count
free -h

运行中的临时调整可通过 sysctl 实施,例如将上限提高到评估后的目标值:

sudo sysctl -w net.netfilter.nf_conntrack_max=目标值

目标值应替换为经过容量评估的整数,不要直接照搬示例或在生产环境盲目倍增。变更后记录结果并观察内存、表项和丢包计数器。如果出现内存压力、连接处理延迟或其他异常,使用变更前记录的值回滚:

sudo sysctl -w net.netfilter.nf_conntrack_max=原值

临时调整通常不会自动写入持久配置。若需要开机保留,应按发行版的配置管理方式维护持久参数,并在变更前备份原配置、确认覆盖顺序及回滚流程。不要同时修改多个容量、超时和防火墙参数,否则故障变化后难以确认是哪项调整造成的。

连接跟踪表的容量与服务器内存、网络负载及业务连接规模密切相关。A5idc数据提供香港、美国、日本等地区的物理服务器,涵盖多种CPU、内存与NVMe存储配置,可为网站、业务后台、数据库及容器网络提供部署资源;不同地区也有相应线路方案,适用于承载不同访问区域的业务流量。

修复后的验证与持续观察

修复后不要只看表项数是否下降。至少复核以下指标,并与变更前相同时间窗口对比:

  • nf_conntrack_count 是否回到有余量的范围,峰值是否仍可预测。
  • 内核日志是否继续出现 table full 或丢弃记录。
  • conntrack -S 中 insert_failed、drop、early_drop 等计数是否继续增长。
  • 应用连接错误、请求超时、重试率和业务响应是否恢复。
  • CPU、可用内存、交换活动及网络相关进程状态是否恶化。
  • 如果调整了超时,长连接、NAT 映射和空闲连接是否仍符合业务要求;如果提高了上限,内存是否仍有安全余量。

可在故障恢复后的数分钟内密集采样,随后覆盖一个完整业务高峰期持续观察。短时间没有告警只能说明当下压力下降,不代表根因已经消失。若表项再次快速上升,应保留同一时间窗口的表项数、统计计数器、事件样本、应用日志和资源指标,按“增长速率、连接状态、业务负载、释放行为”重新对照,避免仅靠扩容或缩短超时掩盖问题。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9256.html

相关推荐