用 Python 把日志报表导出为 CSV 和 JSON
本节目录
上一节已经能算出同一份结构化报表。现在让它适应三个使用场景:终端直接查看、CSV 导入表格、JSON 交给其他程序。三种输出都调用同一个统计函数,切换格式时使用同一套筛选和指标口径。 回顾错误率和 P95 统计
先决定每种格式交付什么
终端摘要给人看,显示总量、错误率、P95 和排行。CSV 输出一张扁平表,每行是一组方法和路径,适合排序、筛选或画图。JSON 保留完整报表,包括数值、跳过原因和排行。JSON 里的错误率是 0 到 1 的比例,null 表示该指标没有可用数据。

在命令上加输出选项
把以下代码保存为 export.py,放在 log_cli.py、metrics.py 和样例 access.jsonl 的同一目录。用 --format 选择格式,用 --output 写入一个新文件;省略文件名时写到标准输出。
import csv
import json
import sys
from pathlib import Path
from log_cli import parse_args
from metrics import build_report, format_report, metrics_parser
def write_report(report, style, output):
if style == "csv":
writer = csv.DictWriter(output, fieldnames=["method", "path", "requests"], lineterminator="\n")
writer.writeheader()
writer.writerows(report["top"])
elif style == "json":
json.dump(report, output, ensure_ascii=False, indent=2, allow_nan=False)
output.write("\n")
else:
output.write(format_report(report) + "\n")
def main(argv=None):
parser = metrics_parser("导出日志报表")
parser.add_argument("--format", choices=["text", "csv", "json"], default="text", help="输出格式")
parser.add_argument("--output", type=Path, help="保存到新文件,省略时写到标准输出")
args = parse_args(parser, argv)
try:
with args.input.open(encoding="utf-8") as log:
report = build_report(log, args)
except (OSError, UnicodeError) as error:
parser.error(f"无法读取输入:{error}")
try:
if args.output is None:
write_report(report, args.format, sys.stdout)
else:
with args.output.open("x", encoding="utf-8", newline="") as output:
write_report(report, args.format, output)
except (OSError, UnicodeError) as error:
parser.error(f"无法写入报表:{error}")
if __name__ == "__main__":
main()
csv.DictWriter 会按表头写列,并处理逗号、双引号等字符。CSV 字段顺序由 fieldnames 决定,newline="" 让文件对象把换行交给 CSV 写入器。报表文件使用 UTF-8,JSON 用 ensure_ascii=False 保留中文跳过原因。 Python CSV 文档 · Python JSON 文档
用同一窗口生成两份报表
python export.py access.jsonl --since 2026-11-19T16:00:00Z --until 2026-11-19T17:00:00Z --top 2 --format csv --output top.csv
python export.py access.jsonl --since 2026-11-19T16:00:00Z --until 2026-11-19T17:00:00Z --top 2 --format json --output report.json
第一条生成的 top.csv 内容如下。
method,path,requests
GET,/search,3
GET,/api/items,2
第二条的 report.json 保留完整的统计结构。
{
"requests": 6,
"client_errors": 1,
"server_errors": 1,
"error_rate": 0.3333333333333333,
"server_error_rate": 0.16666666666666666,
"latency_samples": 5,
"p95_ms": 300.0,
"skipped": {
"JSON 格式错误": 1
},
"top": [
{
"method": "GET",
"path": "/search",
"requests": 3
},
{
"method": "GET",
"path": "/api/items",
"requests": 2
}
]
}
默认用文本格式,适合在终端看摘要。脚本以新建模式写文件,遇到已经存在的 top.csv 会报错,适合保留已有的分析结果。
动手确认两种导出
把一条 GET 请求的路径改为 /search,advanced,换一个新文件名并用 --top 5 导出。CSV 应当给含逗号的路径加上双引号。再挑一个没有请求的时间窗口,确认 CSV 只有表头,JSON 中的 error_rate 和 p95_ms 都是 null。
第三章至此完成。这个工具现在能从命令行筛选日志、计算指标并输出报表。第四章会给读入、筛选和统计补上自动测试。