用 pytest 测试 Python 日志的解析、筛选和统计
本节目录
第三章的日志工具已经能筛选、统计和导出。接下来要修改内部数据结构,先把我们依赖的行为写成测试。例如,起点计入当前小时、终点归下一小时,缺少耗时的请求仍要进入错误率的分母。测试通过后再动代码,能更快知道哪里改坏了。 回顾第三章的报表工具
从最容易改坏的地方开始
用一组测试覆盖三条边界:逐行解析遇到坏记录,按时间筛选遇到零点和时区,统计遇到缺少耗时或完全没有请求。再用一个临时文件跑一次命令入口,核对实际打印的两行。 pytest 参数化测试

安装 pytest,保存测试文件
沿用第三章的 log_cli.py 和 metrics.py,使用一个 Python 3.11 或更高版本的虚拟环境。以下命令在已激活的环境运行:
python -m pip install "pytest>=8,<10"
把下面的代码保存为同目录的 test_log_cli.py。测试会在内存或临时目录创建样例,你无需复制正式站的日志。
import json
from collections import Counter
import pytest
from log_cli import build_parser, main, parse_args, parse_record, selected_rows
from metrics import build_report, metrics_parser
def record(ts="2026-11-19T16:00:00Z", status=200, **fields):
return json.dumps({
"ts": ts,
"method": "GET",
"path": "/search?q=python",
"status": status,
**fields,
})
@pytest.mark.parametrize(
("line", "expected_reason"),
[
("\n", "空行"),
('{"ts":', "JSON 格式错误"),
("[]", "JSON 不是对象"),
(record(status=True), "状态码无效"),
(record(ts="2026-11-19T16:00:00"), "时间戳无效"),
],
)
def test_bad_records(line, expected_reason):
assert parse_record(line) == (None, expected_reason)
def test_time_window_includes_only_start_boundary():
parser = build_parser("日志测试")
args = parse_args(parser, [
"unused.jsonl",
"--since", "2026-11-19T16:00:00Z",
"--until", "2026-11-19T17:00:00Z",
"--method", "GET",
])
rows = [
record(ts="2026-11-19T15:59:59Z"),
record(ts="2026-11-20T00:00:00+08:00"),
record(ts="2026-11-19T17:00:00Z"),
record(method="POST"),
"残缺记录",
]
skipped = Counter()
assert len(list(selected_rows(rows, args, skipped))) == 1
assert skipped == {"JSON 格式错误": 1}
def test_error_rate_and_p95_use_different_samples():
args = parse_args(metrics_parser("日志测试"), ["unused.jsonl"])
rows = [
record(status=200, duration_ms=40),
record(status=404, duration_ms=80),
record(status=502, duration_ms=300),
record(status=200),
]
report = build_report(rows, args)
assert report["requests"] == 4
assert report["error_rate"] == pytest.approx(0.5)
assert report["latency_samples"] == 3
assert report["p95_ms"] == 300
assert report["top"] == [{"method": "GET", "path": "/search", "requests": 4}]
def test_empty_input_has_no_rate_or_latency():
args = parse_args(metrics_parser("日志测试"), ["unused.jsonl"])
report = build_report([], args)
assert report["requests"] == 0
assert report["error_rate"] is None
assert report["p95_ms"] is None
def test_cli_reads_a_real_file(tmp_path, capsys):
source = tmp_path / "access.jsonl"
source.write_text(record() + "\n残缺记录\n", encoding="utf-8")
main([str(source), "--method", "GET"])
assert capsys.readouterr().out.splitlines() == [
"符合筛选的请求:1",
"整份输入跳过的记录:1",
]
运行 python -m pytest -q test_log_cli.py,应看到:
9 passed
parametrize 把空行、坏 JSON 和其他错误各跑一次。测试使用 tmp_path 创建隔离的输入文件,并用 capsys 检查命令输出。错误率是浮点值,所以用 pytest.approx 表达允许的数值误差。 pytest 临时目录 · pytest 捕获输出
动手制造一次失败
在 log_cli.py 的 selected_rows 中,临时把结束边界比较从 >= 改为 >。再运行 python -m pytest -q test_log_cli.py -k boundary。测试应该失败,因为恰好 17:00 的记录被多统计了一条。恢复原代码,再跑整套测试。
下一节会修改解析后的数据形状,刚写好的这套测试就是回归检查。 继续阅读类型标注和数据类