返回专栏
专栏 · Python

用 Python 字典和集合按请求方法与路径分组

作者: 九路 共 5 章 · 16 小节

访问日志里,两条请求可能都打到 /search,却代表不同操作。比如 GET /search 查询结果,POST /search 提交一组搜索条件。上一节只按路径计数,本节改成按 HTTP 方法和路径 一起计数,同时统计每种方法访问过多少个不同路径。 回顾读日志的第一份脚本

先定分组规则

我们把 (method, path) 这个二元组作为计数器的键。GET /search?q=python 和 GET /search?q=go 去掉查询参数后,都归入 ("GET", "/search")。同一路径上的 POST /search 则是另一个键。这样既能合并查询参数不同的记录,也能保留 HTTP 方法的区别。

三条访问记录按方法和路径分组 GET 搜索计为两次 POST 搜索计为一次

方法和路径组合起来,回答的是「每类请求来了多少次」。如果问题换成「GET 访问了多少个不同的路径」,就用字典把每种方法对应到一个集合。add("/search") 调用两次,集合里仍然只有一个 /search。 Python 集合与字典 · Counter 文档

样例和完整代码

把下面的内容保存为 access.log。它沿用前一节的样例,只增加了一条 POST /search 请求。

192.0.2.10 - - [19/Nov/2026:10:00:01 +0800] "GET / HTTP/1.1" 200 512
192.0.2.11 - - [19/Nov/2026:10:00:02 +0800] "GET /search?q=python HTTP/1.1" 200 1024
192.0.2.12 - - [19/Nov/2026:10:00:03 +0800] "GET /search?q=go HTTP/1.1" 200 980
192.0.2.13 - - [19/Nov/2026:10:00:04 +0800] "GET /old-page HTTP/1.1" 404 128
192.0.2.14 - - [19/Nov/2026:10:00:05 +0800] "GET /api/items HTTP/1.1" 502 64
192.0.2.15 - - [19/Nov/2026:10:00:06 +0800] "POST /search HTTP/1.1" 201 300
这行模拟了一条不完整的日志

把脚本保存为同目录下的 group.py,运行 python group.py,或者使用系统中的 python3 命令。代码只用标准库。

from collections import Counter
from pathlib import Path


def parse_request(line):
    parts = line.split('"', 2)
    if len(parts) != 3:
        return None

    request_fields = parts[1].split()
    response_fields = parts[2].split(maxsplit=1)
    if len(request_fields) != 3 or not response_fields:
        return None

    method, target, _ = request_fields
    status = response_fields[0]
    if not target.startswith("/") or len(status) != 3 or not status.isascii() or not status.isdigit():
        return None

    status_code = int(status)
    if not 100 <= status_code <= 599:
        return None

    return method, target.split("?", 1)[0], status_code


def main():
    statuses = Counter()
    endpoints = Counter()
    paths_by_method = {}
    skipped = 0
    sample = Path(__file__).with_name("access.log")

    with sample.open(encoding="utf-8") as log:
        for line in log:
            request = parse_request(line)
            if request is None:
                skipped += 1
                continue
            method, path, status = request
            statuses[status] += 1
            endpoints[method, path] += 1
            paths_by_method.setdefault(method, set()).add(path)

    print(f"有效请求:{sum(statuses.values())}")
    print(f"跳过记录:{skipped}")
    print(f"404:{statuses[404]}")
    print(f"5xx:{sum(count for status, count in statuses.items() if 500 <= status < 600)}")
    print("访问量前 5(方法 + 路径):")
    for (method, path), count in endpoints.most_common(5):
        print(f"  {method} {path}  {count}")
    print("各方法访问了多少种路径:")
    for method in sorted(paths_by_method):
        print(f"  {method}  {len(paths_by_method[method])}")


if __name__ == "__main__":
    main()

对照运行结果

有效请求:6
跳过记录:1
404:1
5xx:1
访问量前 5(方法 + 路径):
  GET /search  2
  GET /  1
  GET /old-page  1
  GET /api/items  1
  POST /search  1
各方法访问了多少种路径:
  GET  4
  POST  1

有效请求是 6 条,GET 有 5 条请求,但只访问了 4 种路径。区别来自 GET /search 出现两次。代码里 paths_by_method.setdefault(method, set()) 首次见到某个方法就为它放入一个空集合,之后取出同一个集合并加入路径。

选择分组键会改变你能看到的问题。如果把方法和状态码也放在一起,可以追踪 POST /search 的失败次数;当前的 statuses 只回答整份日志有多少 404 和 5xx。先确定想回答的问题,再决定需要保存哪一组键。

动手练习

复制一条 GET /search,随便替换查询参数。GET /search 应当增加到 3 次,GET 的不同路径数仍然是 4。然后再添加一条 POST /api/items,POST 的不同路径数应当增加到 2。

下一节会保留这份输出,把实现拆成独立函数,让几条手写日志就能验证统计行为。 继续阅读函数拆分