返回专栏
专栏 · Python

用 Python 逐行读取大日志,并实测内存差异

作者: 九路 共 5 章 · 16 小节

读一份几百兆的日志,需要把几百兆文本都放进 Python 内存吗?上节的 summarize(lines) 接受任何可迭代的日志行,因此这一节可以拿同一个统计函数做对照:一次把文件读成列表,另一次直接迭代文件。比较内存之前,先确认两种读法输出了相同的统计结果。 回顾坏记录处理与验证脚本

对照只改输入的读法

  • log.readlines() 先把各行放进一个列表。开始聚合时,列表里的字符串仍在内存里。
  • for line in log 由文件迭代器陆续提供内容。文件对象内部会做缓冲,应用无需积攒所有行。

两种方法都调用上一节的 summarize。实验里准备 50,000 条日志,交替访问两个路径,故意把分组数固定为 2。这样看到的差异主要来自读取阶段。

全量读取先保存输入行列表 逐行读取只保留缓冲和正在处理的行 两者共用统计函数

跑一次可复现的内存实验

把以下代码保存为 stream.py,与上一节的 validate.py 放在同一个目录。运行 python stream.py。脚本会生成一个名为 generated-benchmark.jsonl 的合成日志;再次运行前先移走这一个样例文件。脚本遇到同名文件就退出,避免覆盖现有数据。

import json
import tracemalloc
from pathlib import Path

from validate import summarize


def make_sample(destination, rows=50_000):
    with destination.open("x", encoding="utf-8") as log:
        for index in range(rows):
            row = {
                "ts": "2026-11-19T16:12:00Z",
                "method": "GET",
                "path": ("/search", "/api/items")[index % 2],
                "status": 200,
            }
            log.write(json.dumps(row) + "\n")


def measure(source, *, read_all):
    tracemalloc.start()
    try:
        with source.open(encoding="utf-8") as log:
            lines = log.readlines() if read_all else log
            report = summarize(lines)
        _, peak = tracemalloc.get_traced_memory()
    finally:
        tracemalloc.stop()
    return report, peak


def main():
    source = Path(__file__).with_name("generated-benchmark.jsonl")
    try:
        make_sample(source)
    except FileExistsError:
        raise SystemExit("样例文件已存在。请先移走 generated-benchmark.jsonl 再运行。") from None

    buffered, buffered_peak = measure(source, read_all=True)
    streamed, streamed_peak = measure(source, read_all=False)
    if buffered != streamed:
        raise RuntimeError("两种读法的统计结果不一致")

    endpoints, skipped = streamed
    print(f"有效请求:{sum(endpoints.values())},跳过:{sum(skipped.values())}")
    print(f"分组数:{len(endpoints)}")
    print(f"readlines() 的 Python 分配峰值:{buffered_peak / 1024:.1f} KiB")
    print(f"逐行读取的 Python 分配峰值:{streamed_peak / 1024:.1f} KiB")


if __name__ == "__main__":
    main()

下面是编辑验证时的一次实测。前两行在相同输入下应一致,内存数字会随 Python 版本、平台和进程状态变化。

有效请求:50000,跳过:0
分组数:2
readlines() 的 Python 分配峰值:6921.4 KiB
逐行读取的 Python 分配峰值:35.3 KiB

tracemalloc 测的是开启追踪后 Python 内存分配的峰值,和操作系统看到的进程 RSS 是两个指标。本实验在生成合成数据之后才开始测量,并在两种读法之间分别启动和结束追踪。 Python tracemalloc 文档

逐行读取还有哪些内存开销

这个工具仍会保存每个不同的 (method, path) 分组、跳过原因计数,以及读文件和解析当前行需要的内存。两条路径时分组只有两个键。如果路径含大量订单编号,分组本身就可能增长。生产报表需要逐条明细时,可以写入磁盘或数据库;只看趋势时,通常可以按路由模板聚合,例如用 /orders/{id} 表示这类路由。

练习时,在 make_sample 里把路径替换成 f"/orders/{index}",移走原合成样例再跑。分组数将变成 50,000,可以观察逐行读取一列的内存为什么也会上升。

第二章到这里完成。现在脚本可以解析带时区的 JSON Lines、解释为什么跳过记录,并以逐行方式处理大文件。第三章会用 argparse 传入文件路径和时间范围。