Linux中如何用awk统计访问日志里的HTTP状态码及出现次数

发布人:A5数据发布时间:2026-10-25 09:30阅读量:86

在已有 Linux 服务器上统计访问日志时,通常不需要安装额外工具,也不必改动 Nginx 或 Apache 配置。只要日志采用常见的空格分隔格式,awk 就能读取状态码字段并累计各状态码的出现次数;再用 sort 按状态码排序,便于检查 2xx、3xx、4xx、5xx 响应的分布。

根据全文核心主题形成自然、专业、克制的技术文章主题场景

以下以 Nginx 常见的 combined 访问日志格式为例。统计只读取日志文件,不会修改日志、服务配置或运行状态。操作前先确认日志路径和字段位置:如果使用自定义格式、JSON 格式,或日志字段顺序不同,应先核对实际格式,不能直接照搬固定字段编号。

对于需要持续采集和分析访问日志的网站、业务后台及接口服务,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖SSD、NVMe及大容量机械硬盘方案,并提供不同带宽线路选择。相关配置可为Nginx日志写入、状态码统计、历史记录留存和数据库等运维场景提供服务器与存储基础。

现状与条件

常见的 Nginx combined 日志行大致如下:

192.0.2.10 - - [17/May/2025:10:12:30 +0000] "GET /index.html HTTP/1.1" 200 1234 "-" "ExampleBrowser/1.0"

在这种格式中,IP 地址是第 1 个字段,时间是第 4 个字段,请求内容因为被双引号包围而作为一个字段处理,HTTP 状态码是第 9 个字段,响应字节数是第 10 个字段。Apache 的常见 combined 格式通常也在第 9 个字段记录状态码,但自定义格式可能不同。

先确认正在使用的日志文件。常见路径包括 /var/log/nginx/access.log 和 /var/log/apache2/access.log,具体位置以本机配置为准。Nginx 可通过以下命令查看配置中的 access_log 项:

sudo nginx -T 2>/dev/null | grep -E '^[[:space:]]*access_log[[:space:]]'

nginx -T 会输出已加载的配置内容,命令中的 grep 只筛选访问日志配置项。若环境中没有 Nginx,或者配置位置与预期不同,应改用实际运行服务对应的配置和日志路径。也可先查看目标文件是否存在:

ls -lh /var/log/nginx/access.log

检查字段时,不要把含有访问 IP、URL 参数或其他业务信息的完整日志随意复制到工单或公开渠道。可以在服务器本机只查看字段数量和第 9 个字段:

awk 'NR <= 5 { print "字段数=" NF, "第9字段=" $9 }' /var/log/nginx/access.log

如果输出中的第 9 个字段类似 200、404,且字段数符合预期,就可以使用下面的统计命令。如果第 9 个字段是请求协议、短横线或其他内容,说明日志格式与示例不同,需要根据实际格式调整字段编号或解析方法。

日常操作:统计各状态码次数

对当前访问日志进行统计,可以执行:

sudo awk '
{
    if (NF < 9 || $9 !~ /^[1-5][0-9][0-9]$/) {
        invalid++
        next
    }

    count[$9]++
    total++
}
END {
    for (code = 100; code <= 599; code++) {
        if (count[code] > 0) {
            printf "%d\t%d\t%.2f%%\n", code, count[code], 100 * count[code] / total
        }
    }
    printf "有效记录\t%d\n", total
    printf "无法识别记录\t%d\n", invalid
}' /var/log/nginx/access.log

命令按以下规则处理每一行:

  • $9 表示第 9 个字段;只有字段数不少于 9,且该字段符合三位 HTTP 状态码格式时,才计入统计。
  • count[$9]++ 为对应状态码累计一次。相同状态码出现多次时,次数会持续增加。
  • total 是成功识别的状态码记录总数,用于计算百分比。
  • invalid 是字段不足或状态码字段不符合格式的行数。它们不会被算进任何状态码的次数。
  • END 在文件读取完成后输出结果。循环从 100 到 599,保证状态码按数值顺序显示。

输出示例:

200     1280    84.77%
301     45      2.98%
404     176     11.66%
500     9       0.60%
有效记录    1510
无法识别记录  2

示例数据只用于说明输出结构。查看时,第一列是状态码,第二列是出现次数,第三列是该状态码占有效记录的比例。比例的分母是有效状态码记录总数,不包括无法识别的行。如果 无法识别记录 大于 0,应先确认这些行是否由日志格式差异、截断记录或其他内容造成,再决定是否调整解析规则。

需要只看状态码及次数、不需要百分比时,可使用精简命令:

sudo awk '
NF >= 9 && $9 ~ /^[1-5][0-9][0-9]$/ {
    count[$9]++
}
END {
    for (code = 100; code <= 599; code++) {
        if (count[code] > 0) {
            printf "%d\t%d\n", code, count[code]
        }
    }
}' /var/log/nginx/access.log

如果日志较大,终端不便查看,可将统计结果保存到单独的临时文件。下面的重定向会创建或覆盖指定结果文件,因此只应写入明确的输出路径,不要把目标误设为原始访问日志:

sudo awk '
NF >= 9 && $9 ~ /^[1-5][0-9][0-9]$/ {
    count[$9]++
}
END {
    for (code = 100; code <= 599; code++) {
        if (count[code] > 0) {
            printf "%d\t%d\n", code, count[code]
        }
    }
}' /var/log/nginx/access.log > /tmp/http-status-count.txt

随后查看结果:

cat /tmp/http-status-count.txt

此操作不会修改访问日志,但若 /tmp/http-status-count.txt 已存在,其内容会被覆盖。执行前可先用 ls -l /tmp/http-status-count.txt 核对目标文件;如需保留旧结果,先改用新的文件名。

统计指定日期的记录

常见日志时间字段类似 [17/May/2025:10:12:30 +0000],日期位于第 4 个字段中。要统计某一天的状态码,可以在计数条件中加入日期判断:

sudo awk -v day='17/May/2025' '
{
    if (NF < 9 || $9 !~ /^[1-5][0-9][0-9]$/) {
        next
    }

    if (substr($4, 2, 11) == day) {
        count[$9]++
        total++
    }
}
END {
    for (code = 100; code <= 599; code++) {
        if (count[code] > 0) {
            printf "%d\t%d\t%.2f%%\n", code, count[code], 100 * count[code] / total
        }
    }
    printf "有效记录\t%d\n", total
}' /var/log/nginx/access.log

将 day 替换为日志中实际使用的日期,格式为 日/月/英文月份/年,例如 17/May/2025。这里按日志时间字段筛选,日志所用时区取决于服务配置;如果要与监控平台或其他主机的日统计对齐,应先确认时区一致。该命令统计的是指定日期范围内、当前文件中能够匹配到的记录,不会自动读取已轮转的旧日志。

结果检查:次数和范围是否合理

拿到结果后,先检查统计范围和数据质量,再根据状态码判断是否需要继续调查。

  • 有效记录数应与所选日志文件中的可解析访问记录数量大体一致。它不一定等于文件行数,因为统计会跳过不符合格式的行。
  • 无法识别记录数正常情况下通常为 0。若数量明显偏高,优先检查日志格式、字段编号、文件是否包含非访问日志内容,以及记录是否被截断。
  • 2xx 表示请求成功。具体含义仍以各状态码和应用行为为准;例如 200 与 204 的响应内容并不相同。
  • 3xx 常见于重定向。若某个重定向码次数升高,应结合请求路径和服务配置确认是否符合预期。
  • 4xx 通常表示请求端的问题或访问资源不存在,但不能仅凭比例判断是异常流量,还是正常的客户端请求、爬取或资源失效。
  • 5xx 通常提示服务端处理失败或上游异常,出现次数、时间分布和影响范围值得进一步核对。单次 5xx 不足以单独说明故障原因。

次数与比例回答的是“日志中记录了多少次某状态码”,并不直接代表独立用户数、独立请求路径或服务可用率。一个客户端反复请求同一资源会产生多条记录;反过来,日志未覆盖的请求也不会出现在统计中。

如需快速对照原始记录,可以只筛选某个状态码,并注意输出内容可能含有 IP 和 URL:

sudo awk '$9 == 404 { print }' /var/log/nginx/access.log | head -n 20

head 只限制终端显示的行数,不代表只扫描了文件前 20 行;为了避免一次输出过多信息,这里仅展示少量匹配结果。排查时可优先在服务器本机查看,并按环境要求处理敏感字段。

异常处理

统计结果为空

如果命令没有输出任何状态码,先区分是日志中确实没有记录、路径不正确,还是字段位置不匹配。检查文件是否为空、日志是否在其他路径,以及前几行的 $9 是否为三位数字:

ls -lh /var/log/nginx/access.log
awk 'NR <= 5 { print "字段数=" NF, "第9字段=" $9 }' /var/log/nginx/access.log

若文件大小为 0,可能是当前访问量很少、服务写入另一个文件,或日志已轮转。若第 9 个字段不是状态码,不要放宽正则表达式来强行计数;应先确认实际字段位置和日志格式。

无法识别记录数偏高

查看少量异常行时,注意不要将敏感内容扩散到外部。若确实需要本机排查,可先只输出字段数和候选状态码:

sudo awk '
NF < 9 || $9 !~ /^[1-5][0-9][0-9]$/ {
    print "字段数=" NF, "第9字段=" $9
    shown++
    if (shown >= 10) exit
}' /var/log/nginx/access.log

如果第 9 个字段并非状态码,按实际日志结构修正字段引用。例如,自定义格式可能把状态码放在其他位置;JSON 日志则不能简单依赖空格分隔,应该使用与 JSON 格式相匹配的解析方式。日志被截断或格式混杂时,也不应把异常行默认为某个状态码。

权限不足

如果普通用户无法读取日志,可在确认路径正确后用 sudo 执行读取命令,例如:

sudo awk 'NF >= 9 && $9 ~ /^[1-5][0-9][0-9]$/ { count[$9]++ }
END {
    for (code = 100; code <= 599; code++) {
        if (count[code] > 0) print code, count[code]
    }
}' /var/log/nginx/access.log

不建议为了方便统计而扩大日志文件权限或递归修改目录权限。权限变更可能让不应读取访问记录的账号获得访问能力,并影响其他运维策略。若误改了权限,应依据变更前记录或主机权限管理规范恢复;没有基准信息时,不要猜测权限值,应先核对文件所属服务、现有权限和系统策略。

文件已经轮转或压缩

服务运行一段时间后,当前的 access.log 可能只包含近期记录,旧日志可能以带日期后缀的文件保存,或以 .gz 压缩。先列出实际存在的文件:

ls -lh /var/log/nginx/access.log*

对单个压缩日志,可将解压结果通过管道交给 awk,无需创建解压后的副本:

sudo gzip -cd -- /var/log/nginx/access.log.1.gz |
awk '
NF >= 9 && $9 ~ /^[1-5][0-9][0-9]$/ {
    count[$9]++
}
END {
    for (code = 100; code <= 599; code++) {
        if (count[code] > 0) {
            printf "%d\t%d\n", code, count[code]
        }
    }
}'

gzip -cd 只把解压内容输出到标准输出,不会覆盖压缩日志。若要统计多个文件,应明确检查文件列表,避免通配符没有匹配到文件却把未展开的路径传给命令。还要留意不要把当前日志与轮转文件重复统计,或因只统计其中一个文件而漏掉目标时间范围。

必要恢复与上线验收检查清单

上述统计命令默认只读,不需要重启或重载 Nginx、Apache,也不需要修改日志配置。若只是直接查看终端输出,无需执行恢复操作。若把结果重定向到文件,检查目标路径,避免覆盖原有数据;生成的临时统计文件确认不再需要后,可按内部文件管理要求处理。

完成统计后,可按以下项目验收:

  • 确认统计的是预期服务、日志文件和时间范围。
  • 确认第 9 个字段在实际日志格式中确实是 HTTP 状态码;自定义格式或 JSON 格式已按实际结构处理。
  • 确认各状态码次数按数值顺序输出,且有效记录数与抽样核对结果大体相符。
  • 确认无法识别记录数为 0,或已查明其来源;没有把异常行强行计入某个状态码。
  • 确认日期筛选使用的日志时间格式和时区符合统计口径,轮转日志未被遗漏或重复计算。
  • 确认统计过程没有改动访问日志、服务配置或文件权限;如保存结果,已核对输出文件路径和覆盖影响。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5624.html

相关推荐