返回专栏
专栏 · Python

用 pytest 测试 Python 日志的解析、筛选和统计

作者: 九路 共 5 章 · 16 小节

第三章的日志工具已经能筛选、统计和导出。接下来要修改内部数据结构,先把我们依赖的行为写成测试。例如,起点计入当前小时、终点归下一小时,缺少耗时的请求仍要进入错误率的分母。测试通过后再动代码,能更快知道哪里改坏了。 回顾第三章的报表工具

从最容易改坏的地方开始

用一组测试覆盖三条边界:逐行解析遇到坏记录,按时间筛选遇到零点和时区,统计遇到缺少耗时或完全没有请求。再用一个临时文件跑一次命令入口,核对实际打印的两行。 pytest 参数化测试

解析测试检查坏记录原因 筛选测试检查时间边界 指标测试检查错误率和 P95

安装 pytest,保存测试文件

沿用第三章的 log_cli.py 和 metrics.py,使用一个 Python 3.11 或更高版本的虚拟环境。以下命令在已激活的环境运行:

python -m pip install "pytest>=8,<10"

把下面的代码保存为同目录的 test_log_cli.py。测试会在内存或临时目录创建样例,你无需复制正式站的日志。

import json
from collections import Counter

import pytest

from log_cli import build_parser, main, parse_args, parse_record, selected_rows
from metrics import build_report, metrics_parser


def record(ts="2026-11-19T16:00:00Z", status=200, **fields):
    return json.dumps({
        "ts": ts,
        "method": "GET",
        "path": "/search?q=python",
        "status": status,
        **fields,
    })


@pytest.mark.parametrize(
    ("line", "expected_reason"),
    [
        ("\n", "空行"),
        ('{"ts":', "JSON 格式错误"),
        ("[]", "JSON 不是对象"),
        (record(status=True), "状态码无效"),
        (record(ts="2026-11-19T16:00:00"), "时间戳无效"),
    ],
)
def test_bad_records(line, expected_reason):
    assert parse_record(line) == (None, expected_reason)


def test_time_window_includes_only_start_boundary():
    parser = build_parser("日志测试")
    args = parse_args(parser, [
        "unused.jsonl",
        "--since", "2026-11-19T16:00:00Z",
        "--until", "2026-11-19T17:00:00Z",
        "--method", "GET",
    ])
    rows = [
        record(ts="2026-11-19T15:59:59Z"),
        record(ts="2026-11-20T00:00:00+08:00"),
        record(ts="2026-11-19T17:00:00Z"),
        record(method="POST"),
        "残缺记录",
    ]
    skipped = Counter()

    assert len(list(selected_rows(rows, args, skipped))) == 1
    assert skipped == {"JSON 格式错误": 1}


def test_error_rate_and_p95_use_different_samples():
    args = parse_args(metrics_parser("日志测试"), ["unused.jsonl"])
    rows = [
        record(status=200, duration_ms=40),
        record(status=404, duration_ms=80),
        record(status=502, duration_ms=300),
        record(status=200),
    ]
    report = build_report(rows, args)

    assert report["requests"] == 4
    assert report["error_rate"] == pytest.approx(0.5)
    assert report["latency_samples"] == 3
    assert report["p95_ms"] == 300
    assert report["top"] == [{"method": "GET", "path": "/search", "requests": 4}]


def test_empty_input_has_no_rate_or_latency():
    args = parse_args(metrics_parser("日志测试"), ["unused.jsonl"])
    report = build_report([], args)

    assert report["requests"] == 0
    assert report["error_rate"] is None
    assert report["p95_ms"] is None


def test_cli_reads_a_real_file(tmp_path, capsys):
    source = tmp_path / "access.jsonl"
    source.write_text(record() + "\n残缺记录\n", encoding="utf-8")

    main([str(source), "--method", "GET"])

    assert capsys.readouterr().out.splitlines() == [
        "符合筛选的请求:1",
        "整份输入跳过的记录:1",
    ]

运行 python -m pytest -q test_log_cli.py,应看到:

9 passed

parametrize 把空行、坏 JSON 和其他错误各跑一次。测试使用 tmp_path 创建隔离的输入文件,并用 capsys 检查命令输出。错误率是浮点值,所以用 pytest.approx 表达允许的数值误差。 pytest 临时目录 · pytest 捕获输出

动手制造一次失败

在 log_cli.py 的 selected_rows 中,临时把结束边界比较从 >= 改为 >。再运行 python -m pytest -q test_log_cli.py -k boundary。测试应该失败,因为恰好 17:00 的记录被多统计了一条。恢复原代码,再跑整套测试。

下一节会修改解析后的数据形状,刚写好的这套测试就是回归检查。 继续阅读类型标注和数据类