在Linux中用awk统计访问日志,怎样按小时汇总请求量?
已有 Nginx 等服务在持续写入访问日志时,可以用 awk 逐行读取记录,从时间戳中提取日期、小时和时区,再统计每个时间桶中的日志行数。下面的命令适用于常见的 Nginx combined 格式;它只读取日志,不修改日志文件,也不需要重启服务。
这里将“按小时汇总”定义为按“日期 + 小时”分组,例如 2025-03-08 09:00 和 2025-03-09 09:00 是两个不同的统计桶。若要比较多个日期的同一时段,可使用文中的“按一天中的小时汇总”变体。

统计前先确认日志格式和时间口径
明确统计对象
常见 Nginx combined 访问日志的一行代表一条请求,时间部分通常类似:
[10/Oct/2000:13:55:36 +0000]
下面的主命令按日志中记录的小时统计请求行数。它不会判断请求是否成功,也不会按 IP 去重:静态资源请求、爬虫请求、健康检查请求和错误响应,只要各自写成一条访问日志,都会计入数量。
因此,执行前先确定统计目的:
- 看整体请求量时,使用全部符合格式的日志行。
- 只看成功响应时,需要按状态码筛选,并确认当前日志格式中的状态码字段位置。
- 评估业务请求时,应先确认是否需要排除健康检查、监控探测或静态资源请求。
检查日志来源和覆盖范围
以下以 /var/log/nginx/access.log 为例。实际运行时替换成当前环境中的访问日志路径,并确认所用账号有读取权限。不要为了统计而修改日志权限;如果需要提升读取权限,应按服务器管理规范操作。
日志轮转会影响统计范围。只读取当前的 access.log,得到的是该文件当前包含的记录,不一定涵盖整个自然日。若需统计完整时间段,应先确认相关的轮转文件是否也需要纳入,并避免将同一批记录重复计算。日志文件可能包含 IP、请求路径等信息,检查或复制输出时应注意访问控制,分享样例前先脱敏。
在现有日志上执行小时汇总
按日期和小时统计
在 Linux 终端运行:
LC_ALL=C awk '
BEGIN {
split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec", names, " ")
for (i = 1; i <= 12; i++) {
month_num[names[i]] = sprintf("%02d", i)
}
}
{
ts = $4
day = substr(ts, 2, 2)
mon = substr(ts, 5, 3)
year = substr(ts, 8, 4)
hour = substr(ts, 14, 2)
zone = $5
sub(/\]$/, "", zone)
if (substr(ts, 1, 1) != "[" ||
!(mon in month_num) ||
day !~ /^[0-9][0-9]$/ || day + 0 < 1 || day + 0 > 31 ||
year !~ /^[0-9][0-9][0-9][0-9]$/ ||
hour !~ /^(0[0-9]|1[0-9]|2[0-3])$/ ||
zone !~ /^[+-][0-9][0-9][0-9][0-9]$/) {
bad++
next
}
key = year "-" month_num[mon] "-" day " " hour ":00 " zone
requests[key]++
valid++
}
END {
for (key in requests) {
print key, requests[key]
}
printf "有效日志行:%d;跳过格式异常行:%d\n", valid, bad > "/dev/stderr"
}
' /var/log/nginx/access.log | LC_ALL=C sort -k1,3
命令按以下顺序处理记录:
- 从
$4读取日期和小时,从$5读取时区。这对应常见 combined 格式中方括号内的时间戳。 - 检查月份、日期、年份、小时和时区字段。无法按该格式识别的记录会跳过,并计入标准错误输出中的“格式异常行”。
- 用
YYYY-MM-DD HH:00 时区作为分组键,对每组累加一条请求。 - 按日期、小时和时区排序后输出。排序针对的是汇总结果,不会重新排列或修改原日志。
示例输出如下,数值仅用于说明格式:
2025-03-08 09:00 +0000 124
2025-03-08 10:00 +0000 311
2025-03-08 11:00 +0000 287
有效日志行:722;跳过格式异常行:0
前三列是日期、小时和时区,最后一列是该时间桶内的日志行数。标准输出中的汇总记录与标准错误输出中的检查信息是两部分;如果只想保存汇总结果,可以使用 > 将标准输出写入另一个文件,但应确认目标文件名不会覆盖重要数据。例如:
# 将结果写入新的文件;如果该文件已存在,shell 会覆盖它
更稳妥的做法是先确认输出文件不存在,或使用一个带日期的全新文件名。不要将结果重定向回正在读取的访问日志。
如果要汇总一天中的 24 个小时
有时关注的是一段时间内的时段分布,而不是逐日变化。例如,要回答“这批日志中,所有日期的 09 点总共有多少请求”,就应只按小时字段分组,不再保留年月日:
LC_ALL=C awk '
{
hour = substr($4, 14, 2)
if (substr($4, 1, 1) == "[" &&
hour ~ /^(0[0-9]|1[0-9]|2[0-3])$/) {
requests[hour]++
}
}
END {
for (hour in requests) {
printf "%s %d\n", hour, requests[hour]
}
}
' /var/log/nginx/access.log | LC_ALL=C sort -n
这段变体将输入文件中所有日期的同一小时合并。例如,多个日期的 09 点会累加到同一行。它适合观察时段分布,不适合检查某一天具体哪个小时流量上升。未出现在输出中的小时,表示当前输入中没有符合条件的记录;如果日志覆盖范围不完整,不能据此断定服务当时没有请求。
结果检查与判读
先看异常行数量。如果输入是常见 combined 格式,且时间字段完整,格式异常行通常应为零或数量很少。出现异常时,不要只看汇总数字就认定统计完整;应核对日志格式、输入文件和实际时间范围。
再检查汇总记录是否符合预期:
- 日期、小时应按时间顺序排列,小时范围为
00:00至23:00。 - 每行请求量应为非负整数;若某小时出现明显偏高或偏低,应回看该时段的原始日志及服务监控。
- 各小时数量相加,应等于本次统计的有效日志行数。可将汇总文件中的数量列相加,与命令末尾报告的有效行数核对。
- 如果有意按状态码筛选、排除健康检查或限制请求类型,核对时应比较筛选后的记录总数,而不是全部日志行数。
如需只统计 2xx 响应,可在主命令完成时间字段校验后、增加分组计数前加入状态码判断:
if ($9 !~ /^2[0-9][0-9]$/) {
next
}
这只适用于状态码确实位于 $9 的常见 combined 布局。自定义 log_format、请求字段中出现非标准空白或额外字段时,状态码位置可能不同;先核对格式再加过滤条件。加入筛选后,输出表示的是符合该状态码条件的请求数,不再是所有请求数,异常和有效记录的统计口径也应相应说明。
常见异常处理
没有输出或出现读取错误
先确认路径和权限:
ls -l /var/log/nginx/access.log
如果文件不存在,检查实际日志路径及服务的日志配置;如果权限不足,使用符合管理规范的账号读取。不要通过 chmod 放宽日志权限来解决单次统计问题。
文件为空或尚无匹配记录时,汇总区可能没有数据行。若终端显示“格式异常行”大于零,优先抽查少量记录,确认时间戳是否符合命令预期。日志样例可能包含敏感信息,不要未经脱敏就粘贴到公开渠道。
使用了不同的日志格式
主命令假设时间戳拆分为 $4 和 $5,且月份使用英文缩写。例如,若日志使用 ISO 8601 时间戳,或时间戳被自定义字段拆开,$4 可能不再是预期内容,异常行数便会上升。
此时先核对实际日志格式,再调整时间字段提取位置和日期解析方式。不要仅为了让命令输出数据而取消校验:跳过格式校验可能把错误字段当作小时,产生看似正常但实际不可信的结果。
需要统计轮转或压缩文件
统计范围跨越轮转周期时,要确认当前日志、已轮转日志和压缩日志是否都纳入。压缩文件不能直接作为普通文本传给 awk;应先解压到管道再送入统计程序,避免覆盖或改写压缩日志。例如,只有一个 .gz 文件时,可以采用以下管道形式,并将中间的统计程序替换为上文主命令中相同的 awk 程序:
gzip -cd -- /var/log/nginx/access.log.1.gz | awk '统计程序' | sort -k1,3
这里的“统计程序”只是位置说明,不能作为原样命令执行。处理多个文件时,先列出要纳入的文件,并排除重复记录;不同文件也应使用相同的时间解析和过滤条件。若需要可靠统计一个封闭时间段,优先使用覆盖范围明确、已完成轮转的日志文件。
时间看起来偏移或同一小时被拆成多组
输出中的时区取自日志本身,命令按日志记录的本地时间与时区分组,不会转换为另一时区。若一组文件使用不同的时区偏移,同一日期和小时可能按偏移分别出现;夏令时切换期间,也可能出现小时重复或跳过。比较不同主机的日志前,应统一时间口径,或保留时区字段分别核对,避免把不同时间基准直接相加。
文件较大或统计期间仍有新请求写入
awk 按行读取输入,不需要把整个访问日志载入内存;内存主要用于保存各小时的计数。若输入覆盖许多年,时间桶数量会相应增加,但仍远少于原始请求行数。统计当前仍在写入的日志时,结果反映的是读取过程中可见的记录,不应当作严格的封账快照。需要固定口径时,可在日志轮转完成后统计已封存文件,并记录纳入的文件清单和统计时间段。
必要恢复与验收检查
主命令只读日志,不更改 Nginx 配置、日志内容或文件权限,因此正常执行后无需恢复服务配置。若把结果重定向到文件,恢复重点是避免误覆盖:先确认输出文件路径与输入日志路径不同;若输出写错位置,停止后续处理,并按现有备份或文件管理流程恢复,不要尝试通过改写原日志来修正统计结果。
验收时逐项确认:
围绕网站访问日志的采集、留存与按小时分析,A5idc数据提供中国香港、美国、日本等地区的物理服务器租用,涵盖常规建站、AMD计算、存储及多种带宽线路方案。不同配置可结合网站、业务后台与数据库等部署需求,选择相应的CPU、内存和SSD或NVMe存储;多地区资源也为面向不同区域用户的业务部署提供基础,让日志处理与线上服务运行能够依托适合的服务器架构展开。
- 输入文件与统计时间范围相符,轮转文件没有漏算或重复纳入。
- 日志布局符合命令使用的字段位置,格式异常行已解释。
- 分组口径明确:逐日小时统计,或将所有日期合并为一天中的小时。
- 汇总的时区与业务使用的时间基准一致,跨主机比较时没有混用时区。
- 请求量的定义明确,是否包含错误响应、静态资源和健康检查已按用途确认。
- 各小时请求量之和与同一筛选口径下的有效日志行数一致,结果文件没有覆盖原始日志。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9597.html



