Linux连接跟踪表满怎么排查,如何判断连接暴增还是参数不足
连接跟踪表真正耗尽时,内核日志中常见 nf_conntrack: table full, dropping packet,新建连接可能失败,表现为网页偶发超时、接口延迟升高、TCP 建连失败或部分 UDP 请求无响应。但看到延迟或连接数上升,并不能直接证明是参数太小:连接可能在短时间内暴增,也可能是连接长期不释放导致容量持续被占用,还可能只是 DNS、路由、丢包、服务器负载或应用处理变慢。
排查时应同时观察当前连接数、最大容量、连接建立速率、丢弃计数和连接状态。只有“当前连接数接近上限”与“内核出现连接跟踪丢弃”在时间上相互对应,才适合把问题归因到连接跟踪表容量;如果连接数正常,却只有应用响应慢,应把重点转向网络路径、主机资源或应用本身。
先确认是否真的发生了连接跟踪表耗尽
连接跟踪表负责什么
Linux 的 Netfilter 连接跟踪模块会为 TCP、UDP、ICMP 等流量维护流状态。它不仅用于防火墙状态匹配,也常被 NAT、容器网络、负载均衡和边界网关使用。
连接跟踪表记录的是网络流,不等同于应用进程中的 socket 数量。一个进程可能创建大量短连接,也可能只有少量长期连接;反过来,一个 NAT 网关还会把多个内网主机的连接集中记录在同一张表中。
常见相关参数包括:
nf_conntrack_count:当前连接跟踪条目数量。nf_conntrack_max:允许的最大条目数量。nf_conntrack_buckets:哈希桶数量,影响查找和冲突情况,具体是否可运行时调整取决于内核和模块加载方式。nf_conntrack_<em>_timeout_</em>:不同协议和状态的保留时间。
首先执行只读检查,确认系统、命名空间和参数位置:
date -Is
uname -r
sysctl net.netfilter.nf_conntrack_count \
net.netfilter.nf_conntrack_max
cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max
sudo dmesg -T | grep -iE 'nf_conntrack|conntrack|table full' | tail -n 50
sudo conntrack -S 2>/dev/null || true
ss -s
其中,conntrack -S 需要安装 conntrack-tools。如果系统没有该命令,不要为了排查临时安装大量软件,先使用 /proc、sysctl 和内核日志完成初步判断。
示例输出如下,数值仅用于说明判断方式:
net.netfilter.nf_conntrack_count = 64200
net.netfilter.nf_conntrack_max = 65536
48200
65536
nf_conntrack: table full, dropping packet
这组结果表示当前表项已经接近上限,并且内核曾经因为无法插入新表项而丢包,相关性较强。但还需要确认日志时间是否与用户报告的延迟时间一致。dmesg 中残留的历史日志不能单独证明当前仍在持续发生。
记录一组基线,而不是只看一次快照
连接暴增是动态问题,一次读取只能说明某个时刻的状态。建议在业务允许的情况下每隔几秒记录一次,至少持续一到五分钟:
for i in $(seq 1 12); do
printf '%s ' "$(date -Is)"
printf 'count='
cat /proc/sys/net/netfilter/nf_conntrack_count
printf ' max='
cat /proc/sys/net/netfilter/nf_conntrack_max
sudo conntrack -S 2>/dev/null | tr '\n' ' '
echo
sleep 5
done
重点看以下变化:
| 观察项 | 典型含义 | 判断重点 |
|---|---|---|
count 快速上升并接近 max | 新连接持续进入,或旧连接释放不及时 | 继续查连接来源、协议和超时 |
count 长时间稳定在上限附近 | 容量确实偏小,或存在大量长期连接 | 先确认这些连接是否合理,再考虑扩容 |
count 不高但 insert_failed、drop 增加 | 可能是瞬时突发、采样错过峰值或检查了错误的网络命名空间 | 对齐日志时间并提高采样频率 |
new 增长很快,count 变化不大 | 连接创建和释放都很快,常见于短连接、重试或扫描 | 查客户端、服务发现、健康检查和应用重试 |
count 正常且没有新增丢弃日志 | 当前延迟不一定与连接跟踪表有关 | 转向 DNS、路由、丢包、负载和应用响应 |
conntrack -S 中的 new、insert_failed、drop 等通常是累计计数器。判断速率时要计算两个时间点的差值,而不是把当前数值当成每秒值。例如,10 秒内 new 增加 30,000,约等于每秒 3,000 次新连接;10 秒内 insert_failed 增加 500,则说明这段时间确实有 500 次插入失败。
注意网络命名空间和故障位置
连接跟踪表应在实际处理流量的节点上查看。以下位置经常被误查:
- NAT 网关或防火墙负责建表,但只在后端应用服务器上查看。
- 容器流量经过宿主机的网络命名空间,容器内看到的计数与宿主机不一致。
- 多台负载均衡节点中只有一台连接数异常。
- IPv4 与 IPv6 流量分别走不同路径。
- 主机上存在多个网络命名空间,
sysctl查询到的参数并非业务流量所在命名空间。
因此,排查记录中应同时写明主机名、网卡、网络命名空间、流量方向和是否经过 NAT。不要因为某台后端服务器连接数正常,就排除边界节点的连接跟踪表耗尽。
按由外到内的顺序确认延迟来源
连接跟踪表满会造成网络层面的失败,但“延迟变高”仍需拆成 DNS、建连、传输和应用处理几个阶段。先做低风险、只读或少量探测,再进入系统参数调整。
1. 检查本地网络和网卡错误
在发起请求的客户端、代理节点或服务器上查看网卡统计:
ip -s link
ip -br addr
ss -s
重点关注目标网卡的 RX errors、TX errors、dropped、overruns 和错误包是否持续增长。如果只有应用请求变慢,但网卡丢包、错误计数没有变化,问题不一定在本地链路。
如果网卡驱动支持,还可以查看硬件统计:
sudo ethtool -S eth0 | grep -iE 'drop|discard|error|timeout|miss'
将 eth0 替换为实际网卡。某些虚拟网卡不提供完整的硬件统计,命令没有输出不代表链路一定正常。此时应结合云平台或虚拟化平台的网卡指标判断。
如果本地网卡错误持续增长,先处理链路、虚拟交换机、MTU、网卡驱动或上游端口问题。直接提高 nf_conntrack_max 对物理丢包没有帮助。
2. 检查 DNS 是否拖慢请求
DNS 延迟通常发生在 TCP 建连之前。使用业务实际使用的解析器和目标域名测试,不要只测试公共域名:
dig +stats api.example.com
如果系统使用 systemd-resolved,可以查看解析器状态:
resolvectl status
resolvectl statistics
应用请求的 DNS 延迟还可能受到本地缓存、搜索域、多个解析器轮询和超时重试影响。可以分别测试不同解析器,但不要在生产环境直接修改 /etc/resolv.conf 作为临时试验,否则可能影响所有进程,且容易被网络管理服务覆盖。
如果 DNS 查询耗时明显,而连接跟踪表计数正常,优先排查:
- 本地 DNS 缓存是否失效;
- 上游 DNS 是否丢包或响应慢;
- 域名是否配置了不可达的解析器;
- 应用是否每次请求都重新解析;
- IPv6 解析结果是否优先返回但路径不可用。
3. 检查路由和丢包,不要只看总延迟
确认到目标地址的实际路由:
ip route get 203.0.113.10
将示例地址替换为实际目标。该命令可以显示出接口、下一跳和源地址,适合确认请求是否从预期网卡发出。
对受控目标进行少量探测:
ping -c 5 -W 2 203.0.113.10
tracepath 203.0.113.10
需要注意,路由中间设备可能限制 ICMP,单个中间节点丢包不一定表示业务丢包。更有价值的是:从某一跳开始,后续所有跳和最终目标都出现相近比例的丢包,并且与业务失败时间一致。
如需进一步观察路径,可在允许发送探测报文的前提下使用:
mtr -rwzc 20 203.0.113.10
不要把 mtr 的中间节点单独丢包直接当作故障结论。应结合最终目标的丢包、业务 TCP 建连结果以及服务器端抓包或连接统计进行判断。
4. 检查服务器负载和资源等待
当网络包已经到达服务器,CPU、内存、磁盘或软中断繁忙也会表现为请求延迟。可以先采集短时间样本:
vmstat 1 5
free -h
mpstat -P ALL 1 5
iostat -xz 1 3
如果命令不存在,应先确认发行版及监控工具是否已安装,不要据此猜测系统状态。
常见判断方式如下:
vmstat中运行队列持续较高,可能是 CPU 竞争;si、so持续增长,说明存在交换活动;wa较高且磁盘设备利用率接近饱和,可能是 IO 等待;- 软中断占用较高,可能与高包速率、网卡队列或防火墙处理有关;
- 内存紧张时,盲目增加连接跟踪容量可能进一步增加内核内存压力。
连接跟踪表满和 CPU 繁忙也可能同时发生。应查看时间线:先出现新连接暴增,还是先出现 CPU、软中断或应用线程池耗尽。
5. 分解一次请求的响应时间
对 HTTP 或 HTTPS 服务,可以使用 curl 分解 DNS、TCP、TLS 和首字节时间:
curl --connect-timeout 5 --max-time 15 \
-sS -o /dev/null \
-w 'dns=%{time_namelookup}s connect=%{time_connect}s tls=%{time_appconnect}s ttfb=%{time_starttransfer}s total=%{time_total}s code=%{http_code}\n' \
https://api.example.com/health
结果可按阶段解释:
dns高:优先查解析器或本地 DNS 缓存。connect明显高于dns:查路由、丢包、SYN 重传、连接跟踪丢弃和服务端监听队列。tls高:查握手处理、证书链、CPU 或网络重传。ttfb高但connect正常:请求已到达应用,重点查线程池、数据库、缓存和下游服务。total高而ttfb正常:可能是响应传输、带宽或客户端读取速度问题。
该命令只能代表一次请求,不能替代多次采样。应在正常时段、异常时段分别记录,并保留目标地址、解析结果和执行节点。
判断是连接暴增,还是连接跟踪参数不足
特征一:连接暴增或连接泄漏
更接近“连接行为异常”的特征包括:
nf_conntrack_count在短时间内陡增;new计数增长速度明显高于平时;- 大量连接处于
SYN_SENT、SYN_RECV、UNREPLIED或短时间内反复出现; - 同一客户端、接口、服务或端口收到大量请求;
- 应用日志出现重试风暴、健康检查失败后立即重试或连接池反复建立;
- 连接峰值过后,表项又明显下降。
在表项数量较大时,不建议直接无条件执行完整 conntrack -L,因为导出所有条目本身会消耗 CPU,并可能产生大量输出。可以在低峰期按状态抽样:
sudo conntrack -L -p tcp --state SYN_SENT 2>/dev/null | head -n 20
sudo conntrack -L -p tcp --state ESTABLISHED 2>/dev/null | head -n 20
不同版本的 conntrack-tools 参数可能略有差异,可先查看:
conntrack --help
如果确认是连接暴增,优先修复来源,而不是马上把上限调大。常见来源有:
- 客户端超时设置过短,导致同一请求不断重试;
- 服务发现或健康检查间隔过短;
- 连接池没有复用,所有请求都新建 TCP 连接;
- 后端响应变慢,导致连接长期占用;
- NAT 网关承载了异常扫描或错误配置的批量任务;
- 某个发布版本在失败路径中没有正确关闭连接。
应用层应增加指数退避、限制并发重试、复用连接并设置合理的连接池上限。若确认是异常来源,应在业务、负载均衡或边界访问控制层进行有范围的限流。调整防火墙规则前,先保存当前规则并记录变更对象、方向和回滚方法:
sudo nft list ruleset > /root/nftables-backup-$(date +%F-%H%M%S).conf
sudo iptables-save > /root/iptables-backup-$(date +%F-%H%M%S).rules
只恢复与当前防火墙实现匹配的备份。使用错误工具恢复规则,或直接加载整套旧规则,可能造成现有业务中断。规则调整应在维护窗口内进行,并准备按原规则文件恢复。
特征二:连接长期稳定在上限附近
更接近“容量不足”的特征包括:
- 业务连接数量本来就长期较高;
count长时间接近max,并非单次尖峰;- 连接状态以正常的
ESTABLISHED或业务所需的长期 UDP 会话为主; - 内核日志在高峰持续出现
table full; - 提高业务连接复用率或清理异常连接后,使用量仍接近上限。
此时要先核对连接跟踪表所在节点的可用内存:
free -h
grep -E 'nf_conntrack|nf_conntrack_expect' /proc/slabinfo
连接跟踪条目的实际内存开销会受到内核版本、协议扩展、NAT、规则和模块影响,不能简单按一个固定字节数估算。增加容量前,应确认系统有足够的可回收内存,并观察是否已经存在内存压力。
特征三:表项不多,但仍出现满表日志
这类情况不能直接归类为“参数不足”。常见原因包括:
- 采样间隔过长,短时峰值在读取前已经消退。
- 日志来自另一个网络命名空间或另一台 NAT 节点。
dmesg中显示的是过去发生的事件。- 多个业务高峰叠加,
count在秒级迅速达到上限。 - 统计读取失败或监控采集存在延迟。
处理方式是把日志时间、count/max、conntrack -S 计数器和业务请求量放到同一时间轴上,缩短采样周期,并逐台检查实际承载流量的节点。
特征四:连接跟踪正常,但应用仍然很慢
如果 count 远低于上限,且没有新的 insert_failed 或 drop,但 curl 的 ttfb 很高,问题更可能位于服务器负载、数据库、缓存、下游接口或应用线程池。
如果只有 connect 高,应继续检查 SYN 重传、监听队列、路由和丢包;如果连接建立很快而首字节慢,则不宜继续修改连接跟踪参数。
还要区分 NAT 端口耗尽。某个源地址对同一目标使用的临时端口不足时,可能出现新连接失败,但连接跟踪表并没有达到 nf_conntrack_max。这需要结合源端口范围、NAT 映射数量和错误日志单独确认,不能把所有“新连接失败”都称为连接跟踪表满。

参数调整要放在证据之后
临时提高 nf_conntrack_max
只有在确认内存余量充足、连接是合法业务且确实长期接近上限时,才考虑临时提高上限。先保存旧值:
old_max=$(cat /proc/sys/net/netfilter/nf_conntrack_max)
echo "old nf_conntrack_max=${old_max}"
sysctl net.netfilter.nf_conntrack_max
free -h
例如当前上限是 65536,可以在维护窗口中把它调整到一个经过容量评估的更高值。下面数值只是演示命令格式,不是适用于所有服务器的固定推荐值:
sudo sysctl -w net.netfilter.nf_conntrack_max=131072
影响和边界包括:
- 允许更多表项,并不等于连接处理速度一定提高;
- 如果根因是连接暴增,容量只会延后再次耗尽;
- 如果内存不足,扩容可能加重内核内存压力;
- 多个网络命名空间、NAT 和防火墙规则会影响实际开销;
- 修改后要观察内存、软中断、丢包、应用延迟和
insert_failed。
回滚时使用变更前保存的真实值,不要凭记忆填写:
sudo sysctl -w net.netfilter.nf_conntrack_max="${old_max}"
如果需要持久化,应单独建立配置文件并纳入变更管理,避免直接覆盖发行版或云初始化工具已有文件。持久化前先备份相关配置,回滚时删除或恢复该专用配置,再在维护窗口中重新加载。不要把临时验证直接当作永久配置。
谨慎调整连接超时
缩短 nf_conntrack_tcp_timeout_time_wait、UDP 超时或其他状态超时,可能减少表项占用,但也可能让延迟到达的报文失去状态匹配,造成连接异常。不同业务的 TCP 长连接、UDP 会话、流媒体、DNS 或健康检查需求差异很大。
先确认参数是否存在及当前值:
sysctl net.netfilter.nf_conntrack_tcp_timeout_time_wait 2>/dev/null || true
sysctl net.netfilter.nf_conntrack_udp_timeout 2>/dev/null || true
sysctl net.netfilter.nf_conntrack_udp_timeout_stream 2>/dev/null || true
只有在明确协议行为、连接关闭方式和允许的最大空闲时间后,才逐项调整,并保留原值以便回滚。不要把 tcp_tw_reuse 当作连接跟踪表满的直接修复手段,它解决的是 socket 端口和 TIME_WAIT 复用场景,不能替代连接跟踪容量和异常连接治理。
不要忽略哈希桶和模块加载方式
nf_conntrack_max 与哈希桶数量共同影响查找效率。不同发行版、内核版本和模块加载方式对 nf_conntrack_buckets 的支持不同,不能直接照搬其他服务器的配置。
先核对当前模块参数:
cat /sys/module/nf_conntrack/parameters/hashsize 2>/dev/null || true
sysctl -a 2>/dev/null | grep -E 'nf_conntrack_(max|count|buckets)'
如果系统没有对应参数,不要自行创建伪配置。调整哈希桶可能需要模块加载参数或重启,影响范围明显高于读取和临时修改 nf_conntrack_max,应安排在维护窗口,并确认启动配置、云平台镜像和防火墙规则的兼容性。
修复后的验证与持续观察
修复不能只看命令返回成功。应至少完成一次高峰期或等效压力窗口的复测,比较修改前后的同一组指标:
date -Is
cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max
sudo conntrack -S 2>/dev/null || true
ss -s
curl --connect-timeout 5 --max-time 15 \
-sS -o /dev/null \
-w 'connect=%{time_connect}s ttfb=%{time_starttransfer}s total=%{time_total}s code=%{http_code}\n' \
https://api.example.com/health
成功验证通常应同时满足:
- 新的
table full日志不再出现; count在业务峰值下仍留有合理余量;insert_failed和drop不再持续增加;- TCP 建连时间和应用首字节时间恢复到业务基线;
- 网卡错误、丢包、CPU、内存和软中断没有因扩容而恶化;
- 应用重试、连接池占用和后端响应时间回到可接受范围。
建议为 nf_conntrack_count / nf_conntrack_max 设置告警,但不要只设置一个“达到百分比”的告警。更有价值的是同时监控表项增长速率、insert_failed、drop、SYN 重传、应用重试率和接口延迟。持续观察至少覆盖一个业务高峰周期;如果是定时任务、批处理或周期性健康检查造成的连接暴增,还要覆盖完整任务周期。
当计数器、网络分层测试和应用响应时间能够在同一时间线上相互印证时,才能判断是连接数量突然失控、连接跟踪容量不足,还是延迟来自其他网络和应用环节。这样既能避免盲目调大内核参数,也能减少因错误修改防火墙或超时配置引起的二次故障。
面向网站、接口服务、数据库、容器及边界网络等业务场景,A5数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖常规 Xeon、AMD EPYC、NVMe 存储、多IP及不同带宽线路配置,可结合访问区域、连接规模、程序负载和数据处理需求,为网络服务与高并发业务提供相应的计算、存储和线路基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6046.html



