用 Python 读网站日志,统计请求量、404 和热门路径
本节目录
我们用 Python 写一个脚本,读访问日志并回答三个问题:收到多少条有效请求?有多少条 404 和 5xx?访问最多的是哪个路径?跑完这一节,你应该看到 5 条有效请求、1 条 404、1 条 5xx,访问最多的是 /search。
一行日志里需要哪些字段
先把下面的样例保存为 access.log。这是为课程编写的合成数据,采用常见访问日志的结构。每行引号里的内容是请求行,引号后面的第一个字段是状态码。样例只保留了本节用得上的字段。实际使用 Nginx 时,先检查站点的 log_format。 Nginx 日志格式说明
192.0.2.10 - - [19/Nov/2026:10:00:01 +0800] "GET / HTTP/1.1" 200 512
192.0.2.11 - - [19/Nov/2026:10:00:02 +0800] "GET /search?q=python HTTP/1.1" 200 1024
192.0.2.12 - - [19/Nov/2026:10:00:03 +0800] "GET /search?q=go HTTP/1.1" 200 980
192.0.2.13 - - [19/Nov/2026:10:00:04 +0800] "GET /old-page HTTP/1.1" 404 128
192.0.2.14 - - [19/Nov/2026:10:00:05 +0800] "GET /api/items HTTP/1.1" 502 64
这行模拟了一条不完整的日志
拿第二行来说,请求目标是 /search?q=python,响应状态是 200。统计热门路径时,我们只保留问号前面的 /search,所以查 Python 和查 Go 的两条请求会被计到同一个路径里。

写一个能运行的统计脚本
把以下代码保存为同一文件夹下的 analyze.py。文件使用 UTF-8 编码。脚本会在自身所在目录找 access.log,因此从其他目录启动也能找到样例。
from collections import Counter
from pathlib import Path
def parse_request(line):
parts = line.split('"', 2)
if len(parts) != 3:
return None
request_fields = parts[1].split()
response_fields = parts[2].split(maxsplit=1)
if len(request_fields) != 3 or not response_fields:
return None
_, target, _ = request_fields
status = response_fields[0]
if not target.startswith("/") or len(status) != 3 or not status.isascii() or not status.isdigit():
return None
status_code = int(status)
if not 100 <= status_code <= 599:
return None
path = target.split("?", 1)[0]
return path, status_code
def main():
statuses = Counter()
paths = Counter()
skipped = 0
sample = Path(__file__).with_name("access.log")
with sample.open(encoding="utf-8") as log:
for line in log:
result = parse_request(line)
if result is None:
skipped += 1
continue
path, status = result
statuses[status] += 1
paths[path] += 1
print(f"有效请求:{sum(statuses.values())}")
print(f"跳过记录:{skipped}")
print(f"404:{statuses[404]}")
print(f"5xx:{sum(count for status, count in statuses.items() if 500 <= status < 600)}")
print("访问量前 3:")
for path, count in paths.most_common(3):
print(f" {path} {count}")
if __name__ == "__main__":
main()
在终端运行 python analyze.py。如果你的系统把 Python 3 的命令命名为 python3,运行 python3 analyze.py。输出应当是:
有效请求:5
跳过记录:1
404:1
5xx:1
访问量前 3:
/search 2
/ 1
/old-page 1
对照输出检查三个细节
- 两个计数器各回答一个问题。
statuses[404]是返回 404 的次数,paths["/search"]是这个路径的访问次数。两者都来自同一条有效记录,所以也可以用状态码计数的总和作为有效请求量。 - 坏记录单独计数。 最后一行没有引号里的请求字段,
parse_request返回None,脚本把它计入跳过记录。排查时应把跳过数和统计结果一起看。两份报表的跳过比例差异很大时,先检查日志格式是否一致。 - 逐行读文件,但分组也占内存。
for line in log会逐行提供内容。计数器还要保存所有不同的路径。如果把查询参数保留下来,路径键可能快速增加,报表也会把同一个接口拆散。 Python Counter · Python Path.open
动手改两个输入
- 复制第二条请求,把查询参数改为
q=rust。有效请求应变为 6 条,/search应变为 3 次。 - 另外加一条
/search的 404 请求。确认 404 统计和路径计数都会增加。再试着计算404 次数 ÷ 有效请求数,并想想空文件时分母为零该怎样显示。
这个脚本只解析本文样例使用的请求行和状态码结构。它会尝试跳过无法识别的行。后续遇到不同的站点日志格式时,应按该格式提取字段;在下一节,我们会用同一份数据把 GET /search 和 POST /search 分开统计。