Linux连接跟踪表满如何处理,怎样区分连接暴增与参数过小
Linux 日志中出现 nf_conntrack: table full, dropping packet,表示连接跟踪表在某个时刻无法继续为新流创建条目,部分数据包可能被丢弃。它不等同于“连接数一定异常暴增”,也不能仅凭 nf_conntrack_max 当前数值偏小就下结论;连接跟踪表满可能由容量配置不足、短时间新建连接激增、连接长期不释放、NAT路径汇聚过多流量,或应用反复重试共同造成。
区分“参数过小”和“连接暴增”,至少要同时观察 nf_conntrack_count、nf_conntrack_max、连接建立速率、表项持续时间以及 insert_failed、drop 等计数器。平时连接数持续贴近上限,更像容量不足;平时占用率较低,只有在发布、健康检查、扫描或重试风暴期间快速冲顶,则应优先按突发流量或连接生命周期异常排查。
先确认故障是否确实发生
从内核日志确认时间和影响
先确定日志来自哪个时间段,并与业务报错、流量变化进行对齐。不要只看当前时刻的一条日志,因为连接跟踪表可能已经从峰值回落。
sudo journalctl -k --since "30 min ago" | grep -Ei 'nf_conntrack|conntrack.*full|dropping packet'
sudo dmesg -T | grep -Ei 'nf_conntrack|conntrack.*full|dropping packet'
如果能够看到类似下面的内容,说明内核曾经因为表项不足而拒绝部分新连接跟踪:
nf_conntrack: table full, dropping packet
这仍然不能说明是永久性容量不足。需要继续确认:
- 日志是持续出现,还是只在某个几十秒或几分钟的窗口出现;
- 同一时间是否有接口流量上升、连接建立量增加;
- 业务错误是新连接失败,还是已有连接超时;
- 连接跟踪表占用是否长期接近上限。
如果只有应用日志中的“连接超时”,但内核没有对应的 table full 记录,应把监听队列、文件描述符、线程池、上游服务和网络丢包纳入并行排查,不能直接修改连接跟踪参数。
查看当前表项与上限
sysctl net.netfilter.nf_conntrack_count
sysctl net.netfilter.nf_conntrack_max
也可以直接读取:
cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max
例如,当前结果为:
net.netfilter.nf_conntrack_count = 382416
net.netfilter.nf_conntrack_max = 524288
此时占用率约为:
382416 ÷ 524288 × 100% ≈ 72.9%
这只能说明“现在”还没有满。如果日志发生在几分钟前,表项可能已经释放,必须通过持续采样或监控历史还原峰值。
连接跟踪工具可用时,再查看统计信息:
command -v conntrack
sudo conntrack -S
不同版本的 conntrack-tools 输出字段可能不同,重点关注是否存在 insert_failed、drop、early_drop 等非零或持续增长的计数。conntrack -L 会列出大量表项,在生产高峰期可能带来额外开销,不建议把它作为第一步操作。
建立原因树:表满不只有一个方向
可以把原因分成四层。每一层都要有观察依据,不能因为某个指标异常就跳过其他层级。
| 层级 | 典型原因 | 重点观察 |
|---|---|---|
| 网络路径 | 新建流量暴增、扫描、健康检查集中、NAT汇聚、重传或异常客户端 | 新连接速率、来源分布、协议和目的端口 |
| 系统与内核 | nf_conntrack_max 过小、表项释放慢、内存压力、规则启用连接跟踪 | count/max、内核日志、内存、连接跟踪统计 |
| 服务 | 监听队列满、工作线程不足、频繁短连接、服务重启 | SYN-RECV、监听队列、进程资源和重启时间 |
| 应用 | 无退避重试、连接池配置不当、健康检查过密、长时间空闲连接 | 重试量、连接生命周期、客户端行为和发布事件 |
这种分层的意义在于:内核表满可能是结果,真正的诱因可能在应用重试;而单纯增大表容量,可能只是把故障推迟到更大的内存消耗阶段。
逐层排除:先看是否属于真实容量压力
用时间序列代替单点读数
可以短时间采样表项数和上限。下面的命令只读取指标,不会修改系统配置:
for i in $(seq 1 60); do
ts=$(date '+%F %T')
count=$(cat /proc/sys/net/netfilter/nf_conntrack_count 2>/dev/null || echo NA)
max=$(cat /proc/sys/net/netfilter/nf_conntrack_max 2>/dev/null || echo NA)
printf '%s count=%s max=%s\n' "$ts" "$count" "$max"
sleep 1
done
观察结果时重点区分三种形态:
- 长期高位:例如大部分时间都在上限的 85%~95%,且业务量没有明显峰值。这通常说明容量余量不足,或者连接释放时间过长。
- 短时间冲顶后快速回落:平时只有 10%~30%,某个时间窗口迅速接近上限,随后几分钟内下降。这更符合新连接突发或短时间重试风暴。
- 当前不高,但故障仍反复出现:可能是采样错过峰值,也可能是表项曾经满过但日志、统计计数和业务时间没有对齐,需要扩大采样窗口并查历史监控。
“占用率高”是容量压力的证据,“占用率变化很快”是连接暴增的证据。两者可以同时成立,例如平时容量已经偏小,遇到突发流量后更快触顶。

判断连接增长的是流,还是数据包
连接跟踪表主要消耗在流状态,而不是单纯的数据包数量。少量长连接即使传输带宽较高,也未必造成表满;大量短连接即使每条连接传输的数据不多,也可能快速消耗表项。
查看套接字概况:
ss -s
ss -ant state syn-recv | tail -n +2 | wc -l
ss -ant state established | tail -n +2 | wc -l
ss -uan | head -n 20
这里的 SYN-RECV 较多,可能指向半连接增加、上游重试或监听队列压力,但不等于全部都是连接跟踪表项。ESTABLISHED 较多,也不一定异常,长连接业务本来就会保持较多状态。需要结合新连接速率和连接持续时间判断。
如果有流量监控或负载均衡日志,应重点提取每秒新建连接数,而不是只看 Mbps 或 PPS。比如某个接口只有 200 Mbps,但每秒建立数千个短连接,连接跟踪压力可能高于带宽更大但连接数稳定的业务。
一个用于容量估算的简化公式是:
预计表项数 ≈ 长连接表项数 + 新建流速 × 平均保留时间
示例中,若长期连接约为 80,000 条,每秒新建 3,000 条,平均保留时间约 90 秒,则短连接部分约为:
3,000 条/秒 × 90 秒 = 270,000 条
预计总量约为:
80,000 + 270,000 = 350,000 条
这只是估算。TCP 的不同状态、UDP 的超时、NAT映射、异常断开和内核版本都会改变实际保留时间,不能用一个固定乘数替代现场数据。
检查系统参数与配置是否真正生效
先确认有效值,再查配置来源
运行中的有效值以 sysctl 读取结果为准,配置文件只是持久化来源:
sysctl -n net.netfilter.nf_conntrack_count
sysctl -n net.netfilter.nf_conntrack_max
sysctl -a 2>/dev/null | grep -E \
'net\.netfilter\.nf_conntrack_(max|count|tcp_timeout|udp_timeout)'
再检查常见配置位置:
grep -RnsE 'nf_conntrack_(max|tcp_timeout|udp_timeout)' \
/etc/sysctl.conf /etc/sysctl.d 2>/dev/null
如果存在多个文件设置同一个参数,通常会按照系统加载顺序由后加载的配置覆盖前面的值,文件名中的字母和数字排序可能影响结果。例如,99-conntrack.conf 可能覆盖 10-network.conf。但不要仅凭文件内容判断生效,必须重新执行:
sysctl -n net.netfilter.nf_conntrack_max
常见的“配置不生效”包括:
- 修改了
/etc/sysctl.conf,但系统启动时另一个/etc/sysctl.d/文件覆盖了它; - 只执行了临时修改,重启后又恢复;
- 在容器内修改,但连接跟踪表实际位于宿主机网络命名空间;
- 修改的是某个节点,实际承载流量的节点并未修改;
- 配置文件写入后没有重新加载,或加载时被启动脚本、配置管理工具再次覆盖;
- 只调整了
nf_conntrack_max,却忽略了连接长期不释放或新建速率持续过高。
区分上限太小与连接突发
可以使用下面的判断对照:
| 观察结果 | 更可能的原因 | 处理方向 |
|---|---|---|
| 正常时 count 长期接近 max,峰值前没有明显新流量事件 | 上限偏小、长连接或超时设置使表项长期占用 | 核算容量、检查生命周期,评估增加上限 |
| 正常时占用率低,发布或流量事件后快速冲顶 | 新连接突发、重试风暴、健康检查集中 | 查来源和事件,控制新建连接速率 |
count 不高但 insert_failed 或日志曾在短窗口增长 | 采样错过峰值,或不同网络命名空间/节点 | 对齐日志时间,检查实际承载流量的命名空间 |
| 增大 max 后故障推迟,但内存明显下降 | 表项需求真实增加,但系统内存不足 | 重新做容量边界,不要继续无上限增大 |
| 连接跟踪统计正常,应用仍报连接失败 | 监听队列、文件描述符、服务线程或上游异常 | 转向服务和应用层排查 |
因此,“把 nf_conntrack_max 调大后暂时恢复”只能证明新上限提供了缓冲空间,不能单独证明原参数就是根因。还要确认在相同流量下,表项是否仍持续增长,以及内存、CPU和业务延迟是否保持正常。
网络层:确认流量从哪里来
如果怀疑连接暴增,先按协议、源地址、目的端口和时间窗口聚合,而不是立即清空连接跟踪表。应重点查看:
- 是否有某个客户端、出口地址或负载均衡节点突然占据大部分新连接;
- 健康检查周期是否配置过密,且多个节点在同一时刻发起;
- 服务发布、扩缩容、DNS切换后,客户端是否同时重连;
- NAT出口是否把大量内部客户端汇聚到同一台主机;
- 是否存在扫描、异常爬虫或错误客户端反复建立连接;
- UDP业务是否使用了大量短生命周期会话;
- 同一条流量是否在多个防火墙、NAT或容器网络路径上重复经过连接跟踪。
如果只有入口流量增加,但连接建立速率稳定,连接跟踪表不一定是主要瓶颈。反过来,带宽没有明显变化而新建连接数快速上升,才更值得优先调查连接暴增。
对于来源明确的异常流量,优先在上游负载均衡、防火墙、访问控制或应用入口进行限速和隔离。直接在故障主机上大范围调整防火墙规则,可能误伤正常业务;任何规则变更都应先保存现有策略、限定匹配范围,并准备回滚。
系统层:检查内存、模块和其他资源
连接跟踪表项会占用内核内存,实际开销取决于内核版本、协议、NAT和扩展状态,不能用一个固定的“每条连接多少字节”来估算。查看系统是否同时存在内存压力:
free -h
vmstat 1 5
dmesg -T | grep -Ei 'out of memory|oom|nf_conntrack'
还要确认连接跟踪功能和网络路径是否符合预期:
lsmod | grep -E 'nf_conntrack|nf_nat'
cat /sys/module/nf_conntrack/parameters/hashsize 2>/dev/null || true
hashsize 是哈希桶数量,是否可调整、何时生效取决于内核和模块加载方式,不应在业务高峰期直接卸载并重新加载模块。模块重载可能影响已有连接、NAT状态和防火墙行为,通常需要维护窗口。
同时注意,以下参数与连接跟踪表不是同一个容量:
net.core.somaxconn:监听套接字允许的连接队列上限;net.ipv4.tcp_max_syn_backlog:TCP半连接队列相关上限;- 进程
ulimit -n:文件描述符上限; - 应用线程数、连接池上限和服务端工作进程数。
这些参数不足时,业务也可能出现连接失败,但不能用提高 nf_conntrack_max 代替处理。
服务与应用层:寻找表项为何没有及时释放
服务端可以先观察监听状态和队列:
ss -lnt
ss -lntp
ss -ant state syn-recv
如果监听端口的 Recv-Q 长期接近或超过 Send-Q,应检查监听队列、服务进程和上游请求量。连接跟踪表满可能是服务处理能力不足后的连锁结果:服务响应变慢,客户端超时,再不断重试,最终新建连接进一步增加。

应用层常见诱因包括:
- HTTP客户端没有连接复用,每次请求都新建TCP连接;
- 数据库、缓存或内部RPC连接池上限过低,业务请求频繁创建和销毁连接;
- 请求失败后立即重试,没有指数退避、最大重试次数和熔断;
- 健康检查间隔过短,且每次检查都建立新连接;
- 服务重启、扩缩容或证书更新导致大量客户端同时断线重连;
- UDP会话没有合理的超时和复用策略;
- 空闲长连接过多,既占用资源又没有实际业务价值。
读取连接跟踪超时参数时,先列出系统实际存在的项目:
sysctl -a 2>/dev/null | grep -E \
'net\.netfilter\.nf_conntrack_(tcp_timeout|udp_timeout)'
不要未经业务验证就大幅缩短 ESTABLISHED 或 UDP超时时间。超时过短可能让正常的长连接、空闲数据库连接或请求间歇较大的业务被误判为失效,造成更多重连。调整前应记录原值,先在单节点或低流量环境验证,并确认应用的保活周期、请求超时和重试策略。
需要调整上限时,先做容量核算
只有在确认表项需求稳定超过当前容量、且内存和CPU有余量时,才适合提高 nf_conntrack_max。例如当前上限为 262,144,监控显示正常高峰稳定在 240,000 以上,且连接释放策略合理,可以评估提高到 524,288;这个数值只是示例,不应直接套用到所有主机。
调整前应完成以下准备:
- 保存当前有效值和配置文件,记录修改节点、时间和回滚值。
- 确认内存余量,避免扩大表后触发内核内存压力。
- 确认业务高峰、连接速率和平均保留时间,估算目标容量。
- 先在一台节点或非核心实例验证,观察业务错误、内存和表项增长。
- 明确回滚条件,不在高峰期直接把上限降回低于当前占用量。
可以先临时修改一个经过核算的示例值:
sudo sysctl -w net.netfilter.nf_conntrack_max=524288
修改后立即验证:
sysctl -n net.netfilter.nf_conntrack_max
sysctl -n net.netfilter.nf_conntrack_count
sudo conntrack -S
如果要持久化,可在经过审核的配置文件中保留单独配置项:
# /etc/sysctl.d/99-conntrack.conf
net.netfilter.nf_conntrack_max = 524288
然后只加载该文件进行验证:
sudo sysctl -p /etc/sysctl.d/99-conntrack.conf
生产环境不要直接覆盖未知内容的系统配置文件,也不要在未确认配置来源时连续执行多个 sysctl --system。如果配置管理平台会重新下发参数,还要在平台侧同步修改,否则本机的临时值可能很快被恢复。
不建议使用下面的命令作为常规处理手段:
sudo conntrack -F
清空连接跟踪表会影响已有连接、NAT会话和部分长连接,通常没有可逆的即时回滚方式。除非已经明确业务影响、完成现场信息留存,并且处于经过批准的应急窗口,否则不应把它当成“释放空间”的普通操作。
A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖常规建站、业务后台、数据库、接口服务与容器等场景。不同方案结合Xeon、AMD EPYC、大内存、SSD或NVMe存储,以及多种带宽和多IP配置,为连接数较高、访问来源多样的业务提供相应的计算、网络与存储基础。
验证恢复:看错误消失,也看压力是否合理
调整或修复流量来源后,至少持续观察一个完整业务高峰,不能只看执行命令后的几分钟。验证应覆盖以下结果:
table full日志不再持续出现;insert_failed、drop等计数不再增长,或增长速率回到基线;nf_conntrack_count / nf_conntrack_max在高峰期仍保留合理余量;- 内存、CPU和软中断没有因扩大表容量而异常;
SYN-RECV、服务端连接错误、超时和重试量恢复;- 应用连接池和健康检查没有持续制造大量短连接;
- 重启或配置管理重新加载后,目标参数仍然有效。
可以把示例恢复标准写成一组可观测条件,而不是只写“服务正常”:
连接跟踪占用率:高峰期低于经过核算的容量边界
table full 日志:观察窗口内不再出现
insert_failed/drop:不再持续增长
应用连接错误:回到故障前基线
主机内存:没有明显回落或OOM迹象
把一次故障变成可持续监控
复发监控不应只采集 nf_conntrack_count,至少要同时保留:
- 当前表项数与
nf_conntrack_max; - 表项占用率和每分钟最大值;
- 新建连接速率,按TCP、UDP、目的端口或服务拆分;
insert_failed、drop、early_drop等计数;- TCP
SYN-RECV、重传、监听队列和应用连接错误; - 主机内存、CPU、软中断以及网络丢包;
- 负载均衡健康检查、服务发布和扩缩容事件。
告警阈值可以先用 80% 作为观察线、90% 作为高风险线,但这不是所有业务的固定标准。短连接业务应结合新建速率和保留时间设置阈值,长连接业务则要关注稳定占用和内存边界。最有价值的告警通常不是“当前已经满”,而是“占用率持续上升、增长速率异常,并且插入失败计数开始增加”。
最终判断应回到完整证据链:日志确认是否真的发生过表满,时间序列确认是持续压力还是短时峰值,网络数据确认新连接来自哪里,系统数据确认参数和内存是否允许,服务与应用数据确认连接为什么增加或迟迟不释放。只有这条链路闭合后,增大参数才是容量调整,而不是把未知问题暂时隐藏。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8267.html



