返回专栏
专栏 · Python

用 Python 解析 JSON Lines 和带时区的时间戳

作者: 九路 共 5 章 · 16 小节

第一章靠引号和空格从日志里拆出路径与状态码。采集端如果能直接输出 JSON Lines,就可以按字段名读取信息。这一节用三条来自不同时区的请求验证一件事:先统一到 UTC,再按小时统计。这样来自不同机器的事件可以进入同一份报表。

一行就是一条记录

把下面三行保存为 access.jsonl,使用 UTF-8 编码。每一行都是完整的 JSON 对象,整个文件没有外围的方括号,行尾也没有逗号。这里用的是合成样例。 JSON Lines 格式说明

{"ts":"2026-11-20T00:12:00+08:00","method":"GET","path":"/search?q=python","status":200}
{"ts":"2026-11-19T16:12:05Z","method":"POST","path":"/search","status":201}
{"ts":"2026-11-19T11:12:10-05:00","method":"GET","path":"/old-page","status":404}

这三条请求都发生在 11 月 19 日的 UTC 16 点。第一条写的是 UTC+8 的 11 月 20 日凌晨,第二条的 Z 表示 UTC,第三条的 -05:00 要加五小时才得到 UTC。直接按字符串的前 13 个字符分组,会把同一小时的事件分到三个组。

带不同偏移的三个时间戳转换成 UTC 后归入同一个小时

用 Python 按 UTC 小时计数

把代码保存为同目录下的 read_jsonl.py,用 Python 3.11 或更高版本运行 python read_jsonl.py,也可以使用系统中的 python3 命令。这里需要的 Z 写法由 datetime.fromisoformat 支持。 Python datetime 文档

import json
from collections import Counter
from datetime import datetime, timezone
from pathlib import Path


def utc_hour(timestamp):
    moment = datetime.fromisoformat(timestamp)
    if moment.utcoffset() is None:
        raise ValueError("时间戳缺少时区")
    utc = moment.astimezone(timezone.utc)
    return utc.replace(minute=0, second=0, microsecond=0)


def main():
    counts = Counter()
    source = Path(__file__).with_name("access.jsonl")
    with source.open(encoding="utf-8") as log:
        for line in log:
            record = json.loads(line)
            counts[utc_hour(record["ts"])] += 1

    for hour in sorted(counts):
        print(f"{hour.strftime('%Y-%m-%d %H:%M UTC')}  {counts[hour]} 条")


if __name__ == "__main__":
    main()
2026-11-19 16:00 UTC  3 条

json.loads(line) 处理当前这一行,得到可以按键读取的字典。随后 utc_hour 先检查时间是否带有偏移,再调用 astimezone(timezone.utc) 转换,最后把分钟、秒和微秒归零。这个顺序在偏移不是整小时的时候也很重要。比如 21:35+05:30 是 UTC 的 16:05,应归到 UTC 16 点。 Python JSON 解析

动手验证时间边界

添加一条时间为 2026-11-20T01:00:00+08:00 的请求,确认输出新增 UTC 17 点这一组,计数是 1。再想一步:如果业务界面要显示北京时间小时报表,可以在截断到小时之前,先统一转换到报表指定的时区。

本节的输入都是格式正确的记录。下一节加入空行、坏 JSON 和缺失字段,保留整个文件的统计结果,并列出每种失败原因。 继续阅读坏记录处理