返回专栏
专栏 · Python

用 Python 把日志报表导出为 CSV 和 JSON

作者: 九路 共 5 章 · 16 小节

上一节已经能算出同一份结构化报表。现在让它适应三个使用场景:终端直接查看、CSV 导入表格、JSON 交给其他程序。三种输出都调用同一个统计函数,切换格式时使用同一套筛选和指标口径。 回顾错误率和 P95 统计

先决定每种格式交付什么

终端摘要给人看,显示总量、错误率、P95 和排行。CSV 输出一张扁平表,每行是一组方法和路径,适合排序、筛选或画图。JSON 保留完整报表,包括数值、跳过原因和排行。JSON 里的错误率是 0 到 1 的比例,null 表示该指标没有可用数据。

同一份统计结果分别写成终端摘要 CSV 排行表和完整 JSON 报表

在命令上加输出选项

把以下代码保存为 export.py,放在 log_cli.py、metrics.py 和样例 access.jsonl 的同一目录。用 --format 选择格式,用 --output 写入一个新文件;省略文件名时写到标准输出。

import csv
import json
import sys
from pathlib import Path

from log_cli import parse_args
from metrics import build_report, format_report, metrics_parser


def write_report(report, style, output):
    if style == "csv":
        writer = csv.DictWriter(output, fieldnames=["method", "path", "requests"], lineterminator="\n")
        writer.writeheader()
        writer.writerows(report["top"])
    elif style == "json":
        json.dump(report, output, ensure_ascii=False, indent=2, allow_nan=False)
        output.write("\n")
    else:
        output.write(format_report(report) + "\n")


def main(argv=None):
    parser = metrics_parser("导出日志报表")
    parser.add_argument("--format", choices=["text", "csv", "json"], default="text", help="输出格式")
    parser.add_argument("--output", type=Path, help="保存到新文件,省略时写到标准输出")
    args = parse_args(parser, argv)

    try:
        with args.input.open(encoding="utf-8") as log:
            report = build_report(log, args)
    except (OSError, UnicodeError) as error:
        parser.error(f"无法读取输入:{error}")

    try:
        if args.output is None:
            write_report(report, args.format, sys.stdout)
        else:
            with args.output.open("x", encoding="utf-8", newline="") as output:
                write_report(report, args.format, output)
    except (OSError, UnicodeError) as error:
        parser.error(f"无法写入报表:{error}")


if __name__ == "__main__":
    main()

csv.DictWriter 会按表头写列,并处理逗号、双引号等字符。CSV 字段顺序由 fieldnames 决定,newline="" 让文件对象把换行交给 CSV 写入器。报表文件使用 UTF-8,JSON 用 ensure_ascii=False 保留中文跳过原因。 Python CSV 文档 · Python JSON 文档

用同一窗口生成两份报表

python export.py access.jsonl --since 2026-11-19T16:00:00Z --until 2026-11-19T17:00:00Z --top 2 --format csv --output top.csv
python export.py access.jsonl --since 2026-11-19T16:00:00Z --until 2026-11-19T17:00:00Z --top 2 --format json --output report.json

第一条生成的 top.csv 内容如下。

method,path,requests
GET,/search,3
GET,/api/items,2

第二条的 report.json 保留完整的统计结构。

{
  "requests": 6,
  "client_errors": 1,
  "server_errors": 1,
  "error_rate": 0.3333333333333333,
  "server_error_rate": 0.16666666666666666,
  "latency_samples": 5,
  "p95_ms": 300.0,
  "skipped": {
    "JSON 格式错误": 1
  },
  "top": [
    {
      "method": "GET",
      "path": "/search",
      "requests": 3
    },
    {
      "method": "GET",
      "path": "/api/items",
      "requests": 2
    }
  ]
}

默认用文本格式,适合在终端看摘要。脚本以新建模式写文件,遇到已经存在的 top.csv 会报错,适合保留已有的分析结果。

动手确认两种导出

把一条 GET 请求的路径改为 /search,advanced,换一个新文件名并用 --top 5 导出。CSV 应当给含逗号的路径加上双引号。再挑一个没有请求的时间窗口,确认 CSV 只有表头,JSON 中的 error_rate 和 p95_ms 都是 null。

第三章至此完成。这个工具现在能从命令行筛选日志、计算指标并输出报表。第四章会给读入、筛选和统计补上自动测试。