返回专栏
专栏 · Python

用 Python 读网站日志,统计请求量、404 和热门路径

作者: 九路 共 5 章 · 16 小节

我们用 Python 写一个脚本,读访问日志并回答三个问题:收到多少条有效请求?有多少条 404 和 5xx?访问最多的是哪个路径?跑完这一节,你应该看到 5 条有效请求、1 条 404、1 条 5xx,访问最多的是 /search。

一行日志里需要哪些字段

先把下面的样例保存为 access.log。这是为课程编写的合成数据,采用常见访问日志的结构。每行引号里的内容是请求行,引号后面的第一个字段是状态码。样例只保留了本节用得上的字段。实际使用 Nginx 时,先检查站点的 log_format。 Nginx 日志格式说明

192.0.2.10 - - [19/Nov/2026:10:00:01 +0800] "GET / HTTP/1.1" 200 512
192.0.2.11 - - [19/Nov/2026:10:00:02 +0800] "GET /search?q=python HTTP/1.1" 200 1024
192.0.2.12 - - [19/Nov/2026:10:00:03 +0800] "GET /search?q=go HTTP/1.1" 200 980
192.0.2.13 - - [19/Nov/2026:10:00:04 +0800] "GET /old-page HTTP/1.1" 404 128
192.0.2.14 - - [19/Nov/2026:10:00:05 +0800] "GET /api/items HTTP/1.1" 502 64
这行模拟了一条不完整的日志

拿第二行来说,请求目标是 /search?q=python,响应状态是 200。统计热门路径时,我们只保留问号前面的 /search,所以查 Python 和查 Go 的两条请求会被计到同一个路径里。

访问日志先提取路径和状态码 再分别汇总为路径排行与状态码计数

写一个能运行的统计脚本

把以下代码保存为同一文件夹下的 analyze.py。文件使用 UTF-8 编码。脚本会在自身所在目录找 access.log,因此从其他目录启动也能找到样例。

from collections import Counter
from pathlib import Path


def parse_request(line):
    parts = line.split('"', 2)
    if len(parts) != 3:
        return None

    request_fields = parts[1].split()
    response_fields = parts[2].split(maxsplit=1)
    if len(request_fields) != 3 or not response_fields:
        return None

    _, target, _ = request_fields
    status = response_fields[0]
    if not target.startswith("/") or len(status) != 3 or not status.isascii() or not status.isdigit():
        return None

    status_code = int(status)
    if not 100 <= status_code <= 599:
        return None

    path = target.split("?", 1)[0]
    return path, status_code


def main():
    statuses = Counter()
    paths = Counter()
    skipped = 0
    sample = Path(__file__).with_name("access.log")

    with sample.open(encoding="utf-8") as log:
        for line in log:
            result = parse_request(line)
            if result is None:
                skipped += 1
                continue
            path, status = result
            statuses[status] += 1
            paths[path] += 1

    print(f"有效请求:{sum(statuses.values())}")
    print(f"跳过记录:{skipped}")
    print(f"404:{statuses[404]}")
    print(f"5xx:{sum(count for status, count in statuses.items() if 500 <= status < 600)}")
    print("访问量前 3:")
    for path, count in paths.most_common(3):
        print(f"  {path}  {count}")


if __name__ == "__main__":
    main()

在终端运行 python analyze.py。如果你的系统把 Python 3 的命令命名为 python3,运行 python3 analyze.py。输出应当是:

有效请求:5
跳过记录:1
404:1
5xx:1
访问量前 3:
  /search  2
  /  1
  /old-page  1

对照输出检查三个细节

  1. 两个计数器各回答一个问题。 statuses[404] 是返回 404 的次数,paths["/search"] 是这个路径的访问次数。两者都来自同一条有效记录,所以也可以用状态码计数的总和作为有效请求量。
  2. 坏记录单独计数。 最后一行没有引号里的请求字段,parse_request 返回 None,脚本把它计入跳过记录。排查时应把跳过数和统计结果一起看。两份报表的跳过比例差异很大时,先检查日志格式是否一致。
  3. 逐行读文件,但分组也占内存。 for line in log 会逐行提供内容。计数器还要保存所有不同的路径。如果把查询参数保留下来,路径键可能快速增加,报表也会把同一个接口拆散。 Python Counter · Python Path.open

动手改两个输入

  • 复制第二条请求,把查询参数改为 q=rust。有效请求应变为 6 条,/search 应变为 3 次。
  • 另外加一条 /search 的 404 请求。确认 404 统计和路径计数都会增加。再试着计算 404 次数 ÷ 有效请求数,并想想空文件时分母为零该怎样显示。

这个脚本只解析本文样例使用的请求行和状态码结构。它会尝试跳过无法识别的行。后续遇到不同的站点日志格式时,应按该格式提取字段;在下一节,我们会用同一份数据把 GET /search 和 POST /search 分开统计。