Docker容器小包正常但大包超时,如何检查网络MTU是否匹配?

发布人:A5数据发布时间:2026-10-23 14:35阅读量:87

容器内访问接口时,域名可以解析、TCP连接也能建立,小响应正常返回,但下载较大文件、提交较大请求体或执行长连接传输时反复等待,常见原因之一是链路实际路径的MTU小于容器或Docker网络宣告的MTU。数据包超过路径承载能力后,如果分片被禁止、分片通知又被防火墙丢弃,就可能形成“TCP已连接但大包超时”的路径MTU黑洞。

排查不能只看宿主机网卡是否显示1500。需要沿着“容器网卡—Docker网络—宿主机网卡—路由和隧道—目标服务器”的方向确认有效MTU,同时排除DNS、丢包、路由、服务器负载和应用响应慢等相似问题。下面以Linux宿主机、Docker Engine和常见IPv4业务为例,命令输出均为判断方法和示例,不代表已在读者环境执行过。

现象确认:先确定是大包问题还是响应慢

对比宿主机与容器的请求阶段

先不要直接修改Docker配置,使用同一个目标地址分别从宿主机和容器发起请求。curl的分阶段耗时有助于判断卡在哪一层:

curl -sS -o /dev/null \
  -w 'dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total}\n' \
  --connect-timeout 5 \
  --max-time 20 \
  https://example.com/large-file.bin

容器内执行时,将app替换为实际容器名或ID:

docker exec app sh -c '
  curl -sS -o /dev/null \
    -w "dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total}\n" \
    --connect-timeout 5 \
    --max-time 20 \
    https://example.com/large-file.bin
'

如果容器镜像没有curl,可以使用临时诊断容器,前提是该镜像仓库和网络环境可用:

docker run --rm --network container:app curlimages/curl:latest \
  -sS -o /dev/null \
  -w 'dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} first_byte=%{time_starttransfer} total=%{time_total}\n' \
  --connect-timeout 5 \
  --max-time 20 \
  https://example.com/large-file.bin

重点观察以下差异:

  • time_namelookup较高:优先检查DNS,不要先改MTU。
  • time_connect较高:可能是路由、丢包、防火墙或服务端监听问题。
  • connect正常,但time_starttransfer明显较高:服务端处理、数据库、上游接口或应用线程池更可疑。
  • 首字节已经返回,随后大响应停滞:路径MTU、TCP重传、服务端发送阻塞都需要继续区分。
  • 宿主机正常、容器异常:重点查看Docker网络、NAT、容器网卡MTU和跨主机封装。
  • 宿主机与容器都异常:问题可能在本地出口、云网络、路由、目标服务器或公共链路。

只测试curl -I或一个很小的健康检查接口,不能代表大响应正常。应准备一个大小足够的静态文件,或使用业务中确实会返回较大数据的接口进行对比。请求体较大时,也要单独测试上传场景,因为上下行路径的有效MTU可能并不相同。

确认容器使用的网络模式

先查看容器的网络模式和网络名称:

docker inspect -f 'name={{.Name}} mode={{.HostConfig.NetworkMode}} networks={{json .NetworkSettings.Networks}}' app

再检查Docker网络:

docker network ls
docker network inspect bridge
docker network inspect app_net

几种网络模式的判断重点不同:

网络模式MTU排查重点
默认或自定义 bridge容器虚拟网卡、Linux bridge、宿主机出口网卡和NAT路径
overlay各节点容器网卡、封装开销、节点间底层网络和所有节点配置一致性
host容器通常直接使用宿主机网络,Docker bridge MTU不是主要检查对象
macvlan或ipvlan容器直接接入二层或三层网络,需同时检查上联交换网络和宿主机接口

如果业务跨越多个Docker节点,不能只在运行客户端的节点上测试。发送节点、接收节点、节点间隧道和云厂商网络都可能存在不同的MTU限制。

由外到内排查基础网络

先排除DNS延迟和解析结果差异

容器内查看解析结果:

docker exec app getent ahosts example.com

如果系统安装了dig,可以进一步比较DNS服务器和返回地址:

docker exec app dig +time=2 +tries=1 example.com A
docker exec app cat /etc/resolv.conf

宿主机也执行同样的命令,重点比较:

  • 容器和宿主机是否使用不同DNS服务器;
  • 是否一个返回IPv4,另一个优先返回IPv6;
  • 是否只有某个解析地址访问超时;
  • DNS查询本身是否偶发超时。

DNS查询通常只产生较小数据包,因此“域名能解析”不能证明大包路径正常。若容器解析到多个地址,可以分别使用目标IP测试,避免把某个异常后端误判为MTU问题。使用HTTPS按IP测试时,需要保留主机名,例如:

curl -sS -o /dev/null \
  --resolve example.com:443:203.0.113.20 \
  --connect-timeout 5 \
  --max-time 20 \
  -w 'connect=%{time_connect} first_byte=%{time_starttransfer} total=%{time_total}\n' \
  https://example.com/large-file.bin

这里的203.0.113.20只是文档示例地址,应替换为实际解析结果。

查看路由和出口接口

从宿主机查看目标地址将经过哪个网关和接口:

ip route get 203.0.113.20

从容器内查看路由:

docker exec app ip route
docker exec app ip route get 203.0.113.20

典型输出可能包含:

203.0.113.20 via 172.18.0.1 dev eth0 src 172.18.0.5

这说明容器先把流量交给Docker网关,随后由宿主机进行转发或NAT。若宿主机和容器到同一目标使用了不同出口,必须分别验证,不能仅凭宿主机测试结果下结论。

检查基础丢包和延迟:

ping -c 20 -W 2 172.18.0.1
ping -c 20 -W 2 203.0.113.20

第一条主要观察容器到Docker网关的本地路径,第二条观察到目标的端到端结果。目标服务器可能禁止ICMP,因此第二条没有响应不一定表示TCP业务不可用。此时可以用TCP连接测试或tracepath辅助判断:

nc -vz -w 3 203.0.113.20 443
tracepath -n -4 203.0.113.20

如果nc连接成功而ping无响应,优先认为是ICMP策略差异;如果TCP连接也不稳定,再继续检查路由、丢包和防火墙。

直接验证路径MTU

先理解MTU、数据载荷和MSS的关系

MTU指单个IP数据包允许的最大长度,不包含以太网帧头。Linux的ping -s通常表示ICMP数据部分长度,因此IPv4测试时需要额外加上20字节IP头和8字节ICMP头:

测试协议计算关系MTU为1500时的典型载荷
IPv4 ICMPMTU = ping -s载荷 + 281472
IPv6 ICMPMTU = ping -s载荷 + 481452
IPv4 TCPMSS约等于MTU - 401460
IPv6 TCPMSS约等于MTU - 601440

TCP握手报文通常很小,所以连接建立成功不代表后续数据包一定能通过。应用发送数据时,如果TCP双方根据过大的MTU计算出过大的MSS,而中间设备又阻止了分片通知,就会出现连接建立后重传和超时。

查看每一层当前MTU

宿主机查看物理网卡、Docker bridge和虚拟接口:

ip -br link
ip link show

容器内查看容器网卡:

docker exec app ip -br link
docker exec app ip link show eth0

示例中可能看到:

eth0@if42        UP             1500

再结合Docker网络信息:

docker network inspect app_net

如果宿主机物理网卡为1500,容器网卡也为1500,这只能说明当前配置值一致,不能说明从容器到目标的端到端路径允许1500。中间存在云网络隧道、跨节点封装、负载均衡、专线或其他网络设备时,实际路径可能只有1450、1400甚至更低。

使用禁止分片的探测包

对IPv4目标,从容器内开始测试:

docker exec app ping -M do -s 1472 -c 3 -W 2 203.0.113.20
docker exec app ping -M do -s 1400 -c 3 -W 2 203.0.113.20

-M do要求IPv4数据包不分片。结果可以这样理解:

  • 1472和1400都成功:该方向至少能承载1500字节IPv4包,MTU不太可能是当前故障的直接原因。
  • 1472失败、1400成功:路径MTU低于1500,应继续二分查找边界。
  • 两个测试都失败:可能是目标禁止ICMP、路由不可达或存在普遍丢包,不能直接判定MTU。
  • 宿主机成功、容器失败:优先查看Docker网络和容器所在节点的路径。
  • 容器和宿主机都在同一个大小附近失败:重点查看出口、隧道或目标侧网络。

可以用二分方式缩小范围,例如依次测试1450、1420、1430等载荷。若1422成功、1423失败,则IPv4路径MTU大约是1450,因为:

1422 + 28 = 1450

ping测试需要经过目标主机,目标不响应ICMP时应使用tracepath或抓包辅助。IPv6不能依赖中间设备分片,通常由路径中的设备返回“Packet Too Big”消息,因此IPv6路径MTU问题也要单独测量:

docker exec app ping -6 -M do -s 1452 -c 3 -W 2 2001:db8::20
docker exec app tracepath -n -6 2001:db8::20

使用tracepath观察路径MTU

docker exec app tracepath -n -4 203.0.113.20

示例输出可能类似:

 1?: [LOCALHOST]                      pmtu 1500
 1:  172.18.0.1                         0.320ms
 2:  192.0.2.1                          1.840ms
 3:  203.0.113.20                      12.500ms reached
     Resume: pmtu 1450 hops 3 back 3

pmtu 1450表示工具推断该方向路径最大传输单元约为1450。若没有显示路径MTU,可能是工具版本、目标响应策略或中间设备限制导致,不能把缺少结果等同于1500。

MTU问题的典型组合是:

直接验证路径MTU配图

  1. 容器接口配置为1500;
  2. 中间路径因封装只能承载1450;
  3. TCP握手使用的小报文顺利通过;
  4. 大数据包需要分片或触发分片通知;
  5. 分片通知被防火墙或安全策略丢弃;
  6. 发送端不断重传,应用表现为大包超时。

用抓包区分丢包、MTU和应用阻塞

当基础测试无法定性时,可以在宿主机进行只读抓包。以下命令只观察流量,不修改网络配置;生产环境应限制抓包时间,并注意不要保存包含敏感业务内容的完整载荷:

sudo tcpdump -ni any -s 96 \
  'host 203.0.113.20 and (tcp port 443 or icmp or icmp6)'

重点看以下现象:

  • TCP三次握手完成,但发送数据后出现连续重传;
  • 同一个TCP序列号反复出现,说明对端确认没有返回;
  • IPv4出现“fragmentation needed”相关ICMP消息;
  • IPv6出现“packet too big”相关ICMPv6消息;
  • 服务端已经发出数据,但容器侧没有收到;
  • TCP窗口持续为零,说明接收端或应用读取速度不足,不一定是MTU;
  • 连接建立前就大量SYN重传,优先查路由、丢包和防火墙。

也可以查看连接级TCP信息:

ss -ti dst 203.0.113.20

若看到较高的重传计数、拥塞窗口持续缩小或RTO不断增长,说明链路存在丢包或大包无法确认。再查看接口统计:

ip -s link show dev eth0
nstat -az | egrep -i 'Retrans|Frag|InErrors|OutDiscards|Timeout'

不同发行版和内核版本的统计项名称可能有差异,命令无输出时先使用nstat -az查看实际字段,不要据此直接判断没有丢包。

判断是不是服务器负载或应用响应慢

MTU问题经常和“服务端处理慢”混在一起。应把客户端请求阶段与服务端指标对应起来。

从容器发起请求时,记录多次结果:

for i in $(seq 1 5); do
  date
  curl -sS -o /dev/null \
    -w 'connect=%{time_connect} first_byte=%{time_starttransfer} total=%{time_total}\n' \
    --connect-timeout 5 \
    --max-time 20 \
    https://example.com/large-file.bin
  sleep 1
done

在宿主机查看Docker容器资源:

docker stats --no-stream app

查看宿主机CPU、内存和运行队列:

vmstat 1 5
free -h
uptime

如果业务服务在同一台服务器上,还应检查服务进程、反向代理、数据库连接池和磁盘延迟。判断路径可以参考:

客户端表现更应优先检查
DNS阶段慢DNS服务器、容器解析配置、IPv4/IPv6选择
TCP连接建立慢或反复失败路由、丢包、监听端口、安全策略
连接成功但首字节迟迟不来应用计算、数据库、上游服务、线程池、服务器负载
首字节返回后固定传输阶段停顿MTU/MSS、TCP重传、服务端发送阻塞
小响应稳定、大响应在相近字节数停顿路径MTU黑洞或应用分块逻辑
宿主机和容器都同样慢Docker网络不是唯一嫌疑,应扩大到出口和服务端

如果通过本机回环地址或同一主机内网地址访问服务正常,而经Docker出口访问大响应异常,网络路径的可能性增加。反过来,如果本机访问同样在首字节阶段等待,则先处理应用或服务器资源问题。

根据结果选择修复方式

先确定目标MTU,不要直接套用固定值

修复值应不大于实际路径的最小MTU。常见计算方法是:

容器网络MTU ≤ 宿主机出口MTU - 隧道或封装开销

例如,宿主机出口接口为1500,节点间封装开销约为50字节,容器网络通常需要考虑1450左右;但具体值仍应以tracepath和禁止分片测试为准。若实测路径MTU为1450,IPv4下最大ICMP载荷约为:

1450 - 28 = 1422字节

不要因为某一个目标测试出1450,就认为所有目标、所有方向都一定是1450。多个出口、策略路由和不同云网络可能有不同路径,最终值应取业务实际路径中的较小值,并在IPv4和IPv6上分别确认。

容器业务部署所依托的服务器与网络线路,也会影响实际通信路径。A5数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,涵盖多种CPU、内存与存储配置,并有不同线路和带宽方案,可用于承载网站、数据库、接口服务及容器业务,为不同地区的业务部署提供相应的计算与网络资源。

自定义bridge网络设置MTU

对于自定义bridge网络,可以创建一个带明确MTU的新网络进行验证:

docker network create \
  --driver bridge \
  --opt com.docker.network.driver.mtu=1450 \
  app_net_mtu1450

然后在维护窗口内,将测试容器连接到该网络:

docker network connect app_net_mtu1450 app
docker exec app ip link show eth0

实际生产切换前,应先确认应用是否能同时连接两个网络、是否依赖固定IP、是否会因网络切换触发连接重建。连接新网络可能改变默认路由或服务发现行为,不能直接在核心业务容器上盲目操作。

Compose项目可以在网络定义中指定驱动参数:

services:
  app:
    image: example/app:1.0
    networks:
      - app_net

networks:
  app_net:
    driver: bridge
    driver_opts:
      com.docker.network.driver.mtu: "1450"

修改Compose配置后,先检查渲染结果:

docker compose config

再在维护窗口执行更新:

docker compose up -d

已有网络的驱动参数通常不会因为重新执行配置就原地改变。生产环境更稳妥的方式是创建新网络、安排容器重建或切换,再确认新容器内的eth0MTU。不要在没有备份Compose文件和回滚窗口的情况下直接删除正在使用的网络。

默认bridge或全局Docker配置调整

如果问题涉及默认网络,或者希望后续新建网络继承统一设置,可以先确认当前Docker版本支持的参数:

docker version
dockerd --help | grep -E '(^|[[:space:]])--mtu([=[:space:]]|$)'

部分Docker Engine环境可在/etc/docker/daemon.json中设置:

{
  "mtu": 1450
}

如果该文件已经存在,必须先备份并合并JSON,不能用示例内容覆盖原有镜像仓库、日志或运行参数:

sudo cp -a /etc/docker/daemon.json \
  /etc/docker/daemon.json.bak.$(date +%Y%m%d%H%M%S)

sudo jq empty /etc/docker/daemon.json

修改前应确认:

  • Docker由systemd管理,配置文件路径确实是/etc/docker/daemon.json;
  • 当前文件中的其他配置已经备份;
  • 已评估重启Docker对容器、网络连接和发布流量的影响;
  • 已准备旧配置和维护窗口。

重启Docker可能造成容器网络短暂中断;是否能保持容器运行还取决于Docker配置和版本,不能默认认为业务无感。修改后按环境执行:

sudo systemctl restart docker
sudo systemctl status docker --no-pager
docker info

随后重新查看新建或重建容器中的MTU:

docker exec app ip link show eth0

若Docker启动失败,先看服务日志:

sudo journalctl -u docker -n 100 --no-pager

确认是新配置导致后,恢复备份并再次校验:

sudo cp -a /etc/docker/daemon.json.bak.YYYYMMDDHHMMSS /etc/docker/daemon.json
sudo jq empty /etc/docker/daemon.json
sudo systemctl restart docker

备份文件名中的时间仅为示例,实际回滚时应替换为真实备份路径。

overlay网络要同时处理所有节点

跨主机overlay网络不能只修改一个节点。需要逐台确认:

docker node ls
docker network inspect app_overlay
ip -br link

重点检查:

  • 所有节点的容器网络MTU是否一致;
  • 节点物理出口MTU是否一致;
  • 节点间地址使用的路由是否一致;
  • 封装或加密层的额外开销是否已预留;
  • 新节点加入后是否采用了不同的网络参数。

如果只有部分节点运行异常,常见原因是流量被调度到不同节点后经过不同路径,而不是应用本身随机故障。修改overlay参数前先安排节点分批维护,避免一次性让所有节点的业务网络同时重建。

根据结果选择修复方式/overlay网络要同时处理所有节点配图

MSS调整只能作为有边界的兼容手段

在无法立即调整Docker网络MTU,或必须兼容某些固定链路时,可以考虑在受控的TCP入口或出口进行MSS调整。它只影响TCP,不会解决UDP大包、ICMP或其他协议的问题,也不能替代对底层路径的修复。

MSS调整通常涉及防火墙或负载均衡规则,属于高影响变更。执行前必须备份现有规则、限定接口和目标流量、准备回滚命令,并评估对长连接、IPv4和IPv6的影响。没有确认当前使用的是iptables还是nftables、规则由哪个管理组件维护时,不应直接复制网上命令写入生产防火墙。

修复后的验证和持续观察

修改完成后,应从容器和宿主机分别复测,而不是只看容器接口显示的数字。

验证路径MTU

docker exec app ping -M do -s 1422 -c 5 -W 2 203.0.113.20
docker exec app tracepath -n -4 203.0.113.20
docker exec app ip link show eth0

如果路径MTU约为1450,IPv4载荷1422通过是合理结果;更大的载荷是否通过,要结合测试结果判断,不应要求所有路径都能通过1472。

验证真实业务传输

使用与故障相近的文件大小、请求体和并发量测试:

curl -fL \
  --connect-timeout 5 \
  --max-time 120 \
  -o /dev/null \
  -w 'http_code=%{http_code} size=%{size_download} total=%{time_total}\n' \
  https://example.com/large-file.bin

如果是上传接口,应使用非敏感的测试文件,并确认服务端确实收到完整请求。不要只测试一个几KB的健康检查接口。

观察重传、丢包和资源指标

修复后至少观察一个业务高峰或持续15至30分钟,结合以下信息:

ss -s
ip -s link show dev eth0
docker stats --no-stream

同时关注:

  • TCP重传是否回到正常基线;
  • 容器接口和宿主机出口是否出现持续丢包;
  • 大响应是否仍在相近字节位置停顿;
  • 服务端首字节耗时是否仍然偏高;
  • Docker节点迁移、扩容或重启后是否重新出现问题;
  • IPv4和IPv6是否存在不同结果。

如果MTU调整后大包恢复,但首字节仍然很慢,说明MTU只是其中一个问题,仍需继续检查应用和服务端处理时间。如果调整后小包、DNS或TCP建连反而异常,应立即回滚到原配置,优先恢复可用性,再重新计算路径MTU,而不是继续降低数值试错。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5343.html

相关推荐