返回专栏
专栏 · Python

把 Python 日志脚本拆成解析、统计和输出函数

作者: 九路 共 5 章 · 16 小节

上一节的脚本已经能回答 GET /search 和 POST /search 各出现几次。现在假设有人要求「在现有终端报表之外,再输出 CSV」。如果读文件、加计数和打印都写在一个函数里,每加一种输出都要重新梳理整段流程。本节先做一次能验证的重构:换代码结构,保持同一份日志的报表输出一致。 回顾按方法和路径分组

拆成三个容易验证的函数

  • parse_request(line) 只懂一行的格式,返回方法、路径和状态码,无法解析时返回 None。
  • summarize(lines) 只关心统计,接收可迭代的日志行,返回字典。文件对象和手写的字符串列表都可以直接传进来。
  • format_report(report) 只管把统计结果写成文字,返回字符串。真正打开文件和调用 print 的地方留在 main()。

一行日志经过解析函数 统计函数和格式化函数 最后由命令入口打印报表

这个边界让错误比较好定位。假如 POST /search 计成了 GET /search,先单独看解析结果。假如状态没错但报表标题写错,直接看格式化函数。以后加 CSV 时,两个输出可以直接使用同一份统计结果。

保存并运行

继续用上一节的 access.log。需要从头复现的话,样例如下。

192.0.2.10 - - [19/Nov/2026:10:00:01 +0800] "GET / HTTP/1.1" 200 512
192.0.2.11 - - [19/Nov/2026:10:00:02 +0800] "GET /search?q=python HTTP/1.1" 200 1024
192.0.2.12 - - [19/Nov/2026:10:00:03 +0800] "GET /search?q=go HTTP/1.1" 200 980
192.0.2.13 - - [19/Nov/2026:10:00:04 +0800] "GET /old-page HTTP/1.1" 404 128
192.0.2.14 - - [19/Nov/2026:10:00:05 +0800] "GET /api/items HTTP/1.1" 502 64
192.0.2.15 - - [19/Nov/2026:10:00:06 +0800] "POST /search HTTP/1.1" 201 300
这行模拟了一条不完整的日志

把脚本保存为同目录下的 refactor.py,执行 python refactor.py。

from collections import Counter
from pathlib import Path


def parse_request(line):
    parts = line.split('"', 2)
    if len(parts) != 3:
        return None

    request_fields = parts[1].split()
    response_fields = parts[2].split(maxsplit=1)
    if len(request_fields) != 3 or not response_fields:
        return None

    method, target, _ = request_fields
    status = response_fields[0]
    if not target.startswith("/") or len(status) != 3 or not status.isascii() or not status.isdigit():
        return None

    status_code = int(status)
    if not 100 <= status_code <= 599:
        return None

    return method, target.split("?", 1)[0], status_code


def summarize(lines):
    statuses = Counter()
    endpoints = Counter()
    paths_by_method = {}
    skipped = 0

    for line in lines:
        request = parse_request(line)
        if request is None:
            skipped += 1
            continue
        method, path, status = request
        statuses[status] += 1
        endpoints[method, path] += 1
        paths_by_method.setdefault(method, set()).add(path)

    return {
        "statuses": statuses,
        "endpoints": endpoints,
        "paths_by_method": paths_by_method,
        "skipped": skipped,
    }


def format_report(report):
    statuses = report["statuses"]
    endpoints = report["endpoints"]
    paths_by_method = report["paths_by_method"]
    server_errors = sum(count for status, count in statuses.items() if 500 <= status < 600)
    lines = [
        f"有效请求:{sum(statuses.values())}",
        f"跳过记录:{report['skipped']}",
        f"404:{statuses[404]}",
        f"5xx:{server_errors}",
        "访问量前 5(方法 + 路径):",
    ]
    for (method, path), count in endpoints.most_common(5):
        lines.append(f"  {method} {path}  {count}")
    lines.append("各方法访问了多少种路径:")
    for method in sorted(paths_by_method):
        lines.append(f"  {method}  {len(paths_by_method[method])}")
    return "\n".join(lines)


def main():
    sample = Path(__file__).with_name("access.log")
    with sample.open(encoding="utf-8") as log:
        report = summarize(log)
    print(format_report(report))


if __name__ == "__main__":
    main()

输出应当与上一节一致。

有效请求:6
跳过记录:1
404:1
5xx:1
访问量前 5(方法 + 路径):
  GET /search  2
  GET /  1
  GET /old-page  1
  GET /api/items  1
  POST /search  1
各方法访问了多少种路径:
  GET  4
  POST  1

用两条输入验证函数

现在可以在同一目录新建一个临时文件,给 summarize 传一条正常请求和一条坏记录。导入时不会跑 main(),这里也不用准备 access.log。这是文件末尾入口判断带来的好处。 Python 的 __main__ 说明

from refactor import summarize

report = summarize([
    '192.0.2.10 - - [19/Nov/2026:10:00:01 +0800] "GET /search?q=python HTTP/1.1" 200 512',
    '残缺日志',
])
assert report["endpoints"]["GET", "/search"] == 1
assert report["skipped"] == 1
print("检查通过")

想继续练习,可以只在 format_report 里添加 404 比例。空日志时显示「无有效请求」。再用原样例和空日志各跑一次,确认统计函数无需改动。

第一章到这里完成。现在你有一份可以逐行读日志、按方法和路径计数,也能用少量输入独立验证的工具。下一章会把输入换成 JSON Lines,并开始处理时间戳和缺失字段。