把 Python 日志脚本拆成解析、统计和输出函数
本节目录
上一节的脚本已经能回答 GET /search 和 POST /search 各出现几次。现在假设有人要求「在现有终端报表之外,再输出 CSV」。如果读文件、加计数和打印都写在一个函数里,每加一种输出都要重新梳理整段流程。本节先做一次能验证的重构:换代码结构,保持同一份日志的报表输出一致。 回顾按方法和路径分组
拆成三个容易验证的函数
parse_request(line)只懂一行的格式,返回方法、路径和状态码,无法解析时返回None。summarize(lines)只关心统计,接收可迭代的日志行,返回字典。文件对象和手写的字符串列表都可以直接传进来。format_report(report)只管把统计结果写成文字,返回字符串。真正打开文件和调用print的地方留在main()。

这个边界让错误比较好定位。假如 POST /search 计成了 GET /search,先单独看解析结果。假如状态没错但报表标题写错,直接看格式化函数。以后加 CSV 时,两个输出可以直接使用同一份统计结果。
保存并运行
继续用上一节的 access.log。需要从头复现的话,样例如下。
192.0.2.10 - - [19/Nov/2026:10:00:01 +0800] "GET / HTTP/1.1" 200 512
192.0.2.11 - - [19/Nov/2026:10:00:02 +0800] "GET /search?q=python HTTP/1.1" 200 1024
192.0.2.12 - - [19/Nov/2026:10:00:03 +0800] "GET /search?q=go HTTP/1.1" 200 980
192.0.2.13 - - [19/Nov/2026:10:00:04 +0800] "GET /old-page HTTP/1.1" 404 128
192.0.2.14 - - [19/Nov/2026:10:00:05 +0800] "GET /api/items HTTP/1.1" 502 64
192.0.2.15 - - [19/Nov/2026:10:00:06 +0800] "POST /search HTTP/1.1" 201 300
这行模拟了一条不完整的日志
把脚本保存为同目录下的 refactor.py,执行 python refactor.py。
from collections import Counter
from pathlib import Path
def parse_request(line):
parts = line.split('"', 2)
if len(parts) != 3:
return None
request_fields = parts[1].split()
response_fields = parts[2].split(maxsplit=1)
if len(request_fields) != 3 or not response_fields:
return None
method, target, _ = request_fields
status = response_fields[0]
if not target.startswith("/") or len(status) != 3 or not status.isascii() or not status.isdigit():
return None
status_code = int(status)
if not 100 <= status_code <= 599:
return None
return method, target.split("?", 1)[0], status_code
def summarize(lines):
statuses = Counter()
endpoints = Counter()
paths_by_method = {}
skipped = 0
for line in lines:
request = parse_request(line)
if request is None:
skipped += 1
continue
method, path, status = request
statuses[status] += 1
endpoints[method, path] += 1
paths_by_method.setdefault(method, set()).add(path)
return {
"statuses": statuses,
"endpoints": endpoints,
"paths_by_method": paths_by_method,
"skipped": skipped,
}
def format_report(report):
statuses = report["statuses"]
endpoints = report["endpoints"]
paths_by_method = report["paths_by_method"]
server_errors = sum(count for status, count in statuses.items() if 500 <= status < 600)
lines = [
f"有效请求:{sum(statuses.values())}",
f"跳过记录:{report['skipped']}",
f"404:{statuses[404]}",
f"5xx:{server_errors}",
"访问量前 5(方法 + 路径):",
]
for (method, path), count in endpoints.most_common(5):
lines.append(f" {method} {path} {count}")
lines.append("各方法访问了多少种路径:")
for method in sorted(paths_by_method):
lines.append(f" {method} {len(paths_by_method[method])}")
return "\n".join(lines)
def main():
sample = Path(__file__).with_name("access.log")
with sample.open(encoding="utf-8") as log:
report = summarize(log)
print(format_report(report))
if __name__ == "__main__":
main()
输出应当与上一节一致。
有效请求:6
跳过记录:1
404:1
5xx:1
访问量前 5(方法 + 路径):
GET /search 2
GET / 1
GET /old-page 1
GET /api/items 1
POST /search 1
各方法访问了多少种路径:
GET 4
POST 1
用两条输入验证函数
现在可以在同一目录新建一个临时文件,给 summarize 传一条正常请求和一条坏记录。导入时不会跑 main(),这里也不用准备 access.log。这是文件末尾入口判断带来的好处。 Python 的 __main__ 说明
from refactor import summarize
report = summarize([
'192.0.2.10 - - [19/Nov/2026:10:00:01 +0800] "GET /search?q=python HTTP/1.1" 200 512',
'残缺日志',
])
assert report["endpoints"]["GET", "/search"] == 1
assert report["skipped"] == 1
print("检查通过")
想继续练习,可以只在 format_report 里添加 404 比例。空日志时显示「无有效请求」。再用原样例和空日志各跑一次,确认统计函数无需改动。
第一章到这里完成。现在你有一份可以逐行读日志、按方法和路径计数,也能用少量输入独立验证的工具。下一章会把输入换成 JSON Lines,并开始处理时间戳和缺失字段。