Linux连接跟踪表满怎么排查,如何判断连接暴增还是参数不足

发布人:A5数据发布时间:2026-10-27 12:16阅读量:101

连接跟踪表真正耗尽时,内核日志中常见 nf_conntrack: table full, dropping packet,新建连接可能失败,表现为网页偶发超时、接口延迟升高、TCP 建连失败或部分 UDP 请求无响应。但看到延迟或连接数上升,并不能直接证明是参数太小:连接可能在短时间内暴增,也可能是连接长期不释放导致容量持续被占用,还可能只是 DNS、路由、丢包、服务器负载或应用处理变慢。

排查时应同时观察当前连接数、最大容量、连接建立速率、丢弃计数和连接状态。只有“当前连接数接近上限”与“内核出现连接跟踪丢弃”在时间上相互对应,才适合把问题归因到连接跟踪表容量;如果连接数正常,却只有应用响应慢,应把重点转向网络路径、主机资源或应用本身。

先确认是否真的发生了连接跟踪表耗尽

连接跟踪表负责什么

Linux 的 Netfilter 连接跟踪模块会为 TCP、UDP、ICMP 等流量维护流状态。它不仅用于防火墙状态匹配,也常被 NAT、容器网络、负载均衡和边界网关使用。

连接跟踪表记录的是网络流,不等同于应用进程中的 socket 数量。一个进程可能创建大量短连接,也可能只有少量长期连接;反过来,一个 NAT 网关还会把多个内网主机的连接集中记录在同一张表中。

常见相关参数包括:

  • nf_conntrack_count:当前连接跟踪条目数量。
  • nf_conntrack_max:允许的最大条目数量。
  • nf_conntrack_buckets:哈希桶数量,影响查找和冲突情况,具体是否可运行时调整取决于内核和模块加载方式。
  • nf_conntrack_<em>_timeout_</em>:不同协议和状态的保留时间。

首先执行只读检查,确认系统、命名空间和参数位置:

date -Is
uname -r

sysctl net.netfilter.nf_conntrack_count \
       net.netfilter.nf_conntrack_max

cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max

sudo dmesg -T | grep -iE 'nf_conntrack|conntrack|table full' | tail -n 50
sudo conntrack -S 2>/dev/null || true
ss -s

其中,conntrack -S 需要安装 conntrack-tools。如果系统没有该命令,不要为了排查临时安装大量软件,先使用 /proc、sysctl 和内核日志完成初步判断。

示例输出如下,数值仅用于说明判断方式:

net.netfilter.nf_conntrack_count = 64200
net.netfilter.nf_conntrack_max = 65536
48200
65536
nf_conntrack: table full, dropping packet

这组结果表示当前表项已经接近上限,并且内核曾经因为无法插入新表项而丢包,相关性较强。但还需要确认日志时间是否与用户报告的延迟时间一致。dmesg 中残留的历史日志不能单独证明当前仍在持续发生。

记录一组基线,而不是只看一次快照

连接暴增是动态问题,一次读取只能说明某个时刻的状态。建议在业务允许的情况下每隔几秒记录一次,至少持续一到五分钟:

for i in $(seq 1 12); do
    printf '%s ' "$(date -Is)"
    printf 'count='
    cat /proc/sys/net/netfilter/nf_conntrack_count
    printf ' max='
    cat /proc/sys/net/netfilter/nf_conntrack_max
    sudo conntrack -S 2>/dev/null | tr '\n' ' '
    echo
    sleep 5
done

重点看以下变化:

观察项典型含义判断重点
count 快速上升并接近 max新连接持续进入,或旧连接释放不及时继续查连接来源、协议和超时
count 长时间稳定在上限附近容量确实偏小,或存在大量长期连接先确认这些连接是否合理,再考虑扩容
count 不高但 insert_failed、drop 增加可能是瞬时突发、采样错过峰值或检查了错误的网络命名空间对齐日志时间并提高采样频率
new 增长很快,count 变化不大连接创建和释放都很快,常见于短连接、重试或扫描查客户端、服务发现、健康检查和应用重试
count 正常且没有新增丢弃日志当前延迟不一定与连接跟踪表有关转向 DNS、路由、丢包、负载和应用响应

conntrack -S 中的 new、insert_failed、drop 等通常是累计计数器。判断速率时要计算两个时间点的差值,而不是把当前数值当成每秒值。例如,10 秒内 new 增加 30,000,约等于每秒 3,000 次新连接;10 秒内 insert_failed 增加 500,则说明这段时间确实有 500 次插入失败。

注意网络命名空间和故障位置

连接跟踪表应在实际处理流量的节点上查看。以下位置经常被误查:

  • NAT 网关或防火墙负责建表,但只在后端应用服务器上查看。
  • 容器流量经过宿主机的网络命名空间,容器内看到的计数与宿主机不一致。
  • 多台负载均衡节点中只有一台连接数异常。
  • IPv4 与 IPv6 流量分别走不同路径。
  • 主机上存在多个网络命名空间,sysctl 查询到的参数并非业务流量所在命名空间。

因此,排查记录中应同时写明主机名、网卡、网络命名空间、流量方向和是否经过 NAT。不要因为某台后端服务器连接数正常,就排除边界节点的连接跟踪表耗尽。

按由外到内的顺序确认延迟来源

连接跟踪表满会造成网络层面的失败,但“延迟变高”仍需拆成 DNS、建连、传输和应用处理几个阶段。先做低风险、只读或少量探测,再进入系统参数调整。

1. 检查本地网络和网卡错误

在发起请求的客户端、代理节点或服务器上查看网卡统计:

ip -s link
ip -br addr
ss -s

重点关注目标网卡的 RX errors、TX errors、dropped、overruns 和错误包是否持续增长。如果只有应用请求变慢,但网卡丢包、错误计数没有变化,问题不一定在本地链路。

如果网卡驱动支持,还可以查看硬件统计:

sudo ethtool -S eth0 | grep -iE 'drop|discard|error|timeout|miss'

将 eth0 替换为实际网卡。某些虚拟网卡不提供完整的硬件统计,命令没有输出不代表链路一定正常。此时应结合云平台或虚拟化平台的网卡指标判断。

如果本地网卡错误持续增长,先处理链路、虚拟交换机、MTU、网卡驱动或上游端口问题。直接提高 nf_conntrack_max 对物理丢包没有帮助。

2. 检查 DNS 是否拖慢请求

DNS 延迟通常发生在 TCP 建连之前。使用业务实际使用的解析器和目标域名测试,不要只测试公共域名:

dig +stats api.example.com

如果系统使用 systemd-resolved,可以查看解析器状态:

resolvectl status
resolvectl statistics

应用请求的 DNS 延迟还可能受到本地缓存、搜索域、多个解析器轮询和超时重试影响。可以分别测试不同解析器,但不要在生产环境直接修改 /etc/resolv.conf 作为临时试验,否则可能影响所有进程,且容易被网络管理服务覆盖。

如果 DNS 查询耗时明显,而连接跟踪表计数正常,优先排查:

  • 本地 DNS 缓存是否失效;
  • 上游 DNS 是否丢包或响应慢;
  • 域名是否配置了不可达的解析器;
  • 应用是否每次请求都重新解析;
  • IPv6 解析结果是否优先返回但路径不可用。

3. 检查路由和丢包,不要只看总延迟

确认到目标地址的实际路由:

ip route get 203.0.113.10

将示例地址替换为实际目标。该命令可以显示出接口、下一跳和源地址,适合确认请求是否从预期网卡发出。

对受控目标进行少量探测:

ping -c 5 -W 2 203.0.113.10
tracepath 203.0.113.10

需要注意,路由中间设备可能限制 ICMP,单个中间节点丢包不一定表示业务丢包。更有价值的是:从某一跳开始,后续所有跳和最终目标都出现相近比例的丢包,并且与业务失败时间一致。

如需进一步观察路径,可在允许发送探测报文的前提下使用:

mtr -rwzc 20 203.0.113.10

不要把 mtr 的中间节点单独丢包直接当作故障结论。应结合最终目标的丢包、业务 TCP 建连结果以及服务器端抓包或连接统计进行判断。

4. 检查服务器负载和资源等待

当网络包已经到达服务器,CPU、内存、磁盘或软中断繁忙也会表现为请求延迟。可以先采集短时间样本:

vmstat 1 5
free -h
mpstat -P ALL 1 5
iostat -xz 1 3

如果命令不存在,应先确认发行版及监控工具是否已安装,不要据此猜测系统状态。

常见判断方式如下:

  • vmstat 中运行队列持续较高,可能是 CPU 竞争;
  • si、so 持续增长,说明存在交换活动;
  • wa 较高且磁盘设备利用率接近饱和,可能是 IO 等待;
  • 软中断占用较高,可能与高包速率、网卡队列或防火墙处理有关;
  • 内存紧张时,盲目增加连接跟踪容量可能进一步增加内核内存压力。

连接跟踪表满和 CPU 繁忙也可能同时发生。应查看时间线:先出现新连接暴增,还是先出现 CPU、软中断或应用线程池耗尽。

5. 分解一次请求的响应时间

对 HTTP 或 HTTPS 服务,可以使用 curl 分解 DNS、TCP、TLS 和首字节时间:

curl --connect-timeout 5 --max-time 15 \
  -sS -o /dev/null \
  -w 'dns=%{time_namelookup}s connect=%{time_connect}s tls=%{time_appconnect}s ttfb=%{time_starttransfer}s total=%{time_total}s code=%{http_code}\n' \
  https://api.example.com/health

结果可按阶段解释:

  • dns 高:优先查解析器或本地 DNS 缓存。
  • connect 明显高于 dns:查路由、丢包、SYN 重传、连接跟踪丢弃和服务端监听队列。
  • tls 高:查握手处理、证书链、CPU 或网络重传。
  • ttfb 高但 connect 正常:请求已到达应用,重点查线程池、数据库、缓存和下游服务。
  • total 高而 ttfb 正常:可能是响应传输、带宽或客户端读取速度问题。

该命令只能代表一次请求,不能替代多次采样。应在正常时段、异常时段分别记录,并保留目标地址、解析结果和执行节点。

判断是连接暴增,还是连接跟踪参数不足

特征一:连接暴增或连接泄漏

更接近“连接行为异常”的特征包括:

  • nf_conntrack_count 在短时间内陡增;
  • new 计数增长速度明显高于平时;
  • 大量连接处于 SYN_SENT、SYN_RECV、UNREPLIED 或短时间内反复出现;
  • 同一客户端、接口、服务或端口收到大量请求;
  • 应用日志出现重试风暴、健康检查失败后立即重试或连接池反复建立;
  • 连接峰值过后,表项又明显下降。

在表项数量较大时,不建议直接无条件执行完整 conntrack -L,因为导出所有条目本身会消耗 CPU,并可能产生大量输出。可以在低峰期按状态抽样:

sudo conntrack -L -p tcp --state SYN_SENT 2>/dev/null | head -n 20
sudo conntrack -L -p tcp --state ESTABLISHED 2>/dev/null | head -n 20

不同版本的 conntrack-tools 参数可能略有差异,可先查看:

conntrack --help

如果确认是连接暴增,优先修复来源,而不是马上把上限调大。常见来源有:

  • 客户端超时设置过短,导致同一请求不断重试;
  • 服务发现或健康检查间隔过短;
  • 连接池没有复用,所有请求都新建 TCP 连接;
  • 后端响应变慢,导致连接长期占用;
  • NAT 网关承载了异常扫描或错误配置的批量任务;
  • 某个发布版本在失败路径中没有正确关闭连接。

应用层应增加指数退避、限制并发重试、复用连接并设置合理的连接池上限。若确认是异常来源,应在业务、负载均衡或边界访问控制层进行有范围的限流。调整防火墙规则前,先保存当前规则并记录变更对象、方向和回滚方法:

sudo nft list ruleset > /root/nftables-backup-$(date +%F-%H%M%S).conf
sudo iptables-save > /root/iptables-backup-$(date +%F-%H%M%S).rules

只恢复与当前防火墙实现匹配的备份。使用错误工具恢复规则,或直接加载整套旧规则,可能造成现有业务中断。规则调整应在维护窗口内进行,并准备按原规则文件恢复。

特征二:连接长期稳定在上限附近

更接近“容量不足”的特征包括:

  • 业务连接数量本来就长期较高;
  • count 长时间接近 max,并非单次尖峰;
  • 连接状态以正常的 ESTABLISHED 或业务所需的长期 UDP 会话为主;
  • 内核日志在高峰持续出现 table full;
  • 提高业务连接复用率或清理异常连接后,使用量仍接近上限。

此时要先核对连接跟踪表所在节点的可用内存:

free -h
grep -E 'nf_conntrack|nf_conntrack_expect' /proc/slabinfo

连接跟踪条目的实际内存开销会受到内核版本、协议扩展、NAT、规则和模块影响,不能简单按一个固定字节数估算。增加容量前,应确认系统有足够的可回收内存,并观察是否已经存在内存压力。

特征三:表项不多,但仍出现满表日志

这类情况不能直接归类为“参数不足”。常见原因包括:

  1. 采样间隔过长,短时峰值在读取前已经消退。
  2. 日志来自另一个网络命名空间或另一台 NAT 节点。
  3. dmesg 中显示的是过去发生的事件。
  4. 多个业务高峰叠加,count 在秒级迅速达到上限。
  5. 统计读取失败或监控采集存在延迟。

处理方式是把日志时间、count/max、conntrack -S 计数器和业务请求量放到同一时间轴上,缩短采样周期,并逐台检查实际承载流量的节点。

特征四:连接跟踪正常,但应用仍然很慢

如果 count 远低于上限,且没有新的 insert_failed 或 drop,但 curl 的 ttfb 很高,问题更可能位于服务器负载、数据库、缓存、下游接口或应用线程池。

如果只有 connect 高,应继续检查 SYN 重传、监听队列、路由和丢包;如果连接建立很快而首字节慢,则不宜继续修改连接跟踪参数。

还要区分 NAT 端口耗尽。某个源地址对同一目标使用的临时端口不足时,可能出现新连接失败,但连接跟踪表并没有达到 nf_conntrack_max。这需要结合源端口范围、NAT 映射数量和错误日志单独确认,不能把所有“新连接失败”都称为连接跟踪表满。

判断是连接暴增,还是连接跟踪参数不足配图

参数调整要放在证据之后

临时提高 nf_conntrack_max

只有在确认内存余量充足、连接是合法业务且确实长期接近上限时,才考虑临时提高上限。先保存旧值:

old_max=$(cat /proc/sys/net/netfilter/nf_conntrack_max)
echo "old nf_conntrack_max=${old_max}"

sysctl net.netfilter.nf_conntrack_max
free -h

例如当前上限是 65536,可以在维护窗口中把它调整到一个经过容量评估的更高值。下面数值只是演示命令格式,不是适用于所有服务器的固定推荐值:

sudo sysctl -w net.netfilter.nf_conntrack_max=131072

影响和边界包括:

  • 允许更多表项,并不等于连接处理速度一定提高;
  • 如果根因是连接暴增,容量只会延后再次耗尽;
  • 如果内存不足,扩容可能加重内核内存压力;
  • 多个网络命名空间、NAT 和防火墙规则会影响实际开销;
  • 修改后要观察内存、软中断、丢包、应用延迟和 insert_failed。

回滚时使用变更前保存的真实值,不要凭记忆填写:

sudo sysctl -w net.netfilter.nf_conntrack_max="${old_max}"

如果需要持久化,应单独建立配置文件并纳入变更管理,避免直接覆盖发行版或云初始化工具已有文件。持久化前先备份相关配置,回滚时删除或恢复该专用配置,再在维护窗口中重新加载。不要把临时验证直接当作永久配置。

谨慎调整连接超时

缩短 nf_conntrack_tcp_timeout_time_wait、UDP 超时或其他状态超时,可能减少表项占用,但也可能让延迟到达的报文失去状态匹配,造成连接异常。不同业务的 TCP 长连接、UDP 会话、流媒体、DNS 或健康检查需求差异很大。

先确认参数是否存在及当前值:

sysctl net.netfilter.nf_conntrack_tcp_timeout_time_wait 2>/dev/null || true
sysctl net.netfilter.nf_conntrack_udp_timeout 2>/dev/null || true
sysctl net.netfilter.nf_conntrack_udp_timeout_stream 2>/dev/null || true

只有在明确协议行为、连接关闭方式和允许的最大空闲时间后,才逐项调整,并保留原值以便回滚。不要把 tcp_tw_reuse 当作连接跟踪表满的直接修复手段,它解决的是 socket 端口和 TIME_WAIT 复用场景,不能替代连接跟踪容量和异常连接治理。

不要忽略哈希桶和模块加载方式

nf_conntrack_max 与哈希桶数量共同影响查找效率。不同发行版、内核版本和模块加载方式对 nf_conntrack_buckets 的支持不同,不能直接照搬其他服务器的配置。

先核对当前模块参数:

cat /sys/module/nf_conntrack/parameters/hashsize 2>/dev/null || true
sysctl -a 2>/dev/null | grep -E 'nf_conntrack_(max|count|buckets)'

如果系统没有对应参数,不要自行创建伪配置。调整哈希桶可能需要模块加载参数或重启,影响范围明显高于读取和临时修改 nf_conntrack_max,应安排在维护窗口,并确认启动配置、云平台镜像和防火墙规则的兼容性。

修复后的验证与持续观察

修复不能只看命令返回成功。应至少完成一次高峰期或等效压力窗口的复测,比较修改前后的同一组指标:

date -Is
cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max
sudo conntrack -S 2>/dev/null || true
ss -s

curl --connect-timeout 5 --max-time 15 \
  -sS -o /dev/null \
  -w 'connect=%{time_connect}s ttfb=%{time_starttransfer}s total=%{time_total}s code=%{http_code}\n' \
  https://api.example.com/health

成功验证通常应同时满足:

  • 新的 table full 日志不再出现;
  • count 在业务峰值下仍留有合理余量;
  • insert_failed 和 drop 不再持续增加;
  • TCP 建连时间和应用首字节时间恢复到业务基线;
  • 网卡错误、丢包、CPU、内存和软中断没有因扩容而恶化;
  • 应用重试、连接池占用和后端响应时间回到可接受范围。

建议为 nf_conntrack_count / nf_conntrack_max 设置告警,但不要只设置一个“达到百分比”的告警。更有价值的是同时监控表项增长速率、insert_failed、drop、SYN 重传、应用重试率和接口延迟。持续观察至少覆盖一个业务高峰周期;如果是定时任务、批处理或周期性健康检查造成的连接暴增,还要覆盖完整任务周期。

当计数器、网络分层测试和应用响应时间能够在同一时间线上相互印证时,才能判断是连接数量突然失控、连接跟踪容量不足,还是延迟来自其他网络和应用环节。这样既能避免盲目调大内核参数,也能减少因错误修改防火墙或超时配置引起的二次故障。

面向网站、接口服务、数据库、容器及边界网络等业务场景,A5数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖常规 Xeon、AMD EPYC、NVMe 存储、多IP及不同带宽线路配置,可结合访问区域、连接规模、程序负载和数据处理需求,为网络服务与高并发业务提供相应的计算、存储和线路基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6046.html

相关推荐