返回专栏
专栏 ·

4.2 结构化数据处理:JSON、CSV 与 YAML 配置文件的读写与安全序列化

作者: 九路 共 12 章 · 48 小节

欢迎回到 HelloWorld 技术社区(www.helloworld.net) 《Python 现代开发实战》专栏。

业务系统每天都在和结构化数据打交道:前后端交互用 JSON,运营后台导报表用 CSV,微服务与 Docker/K8s 部署配置用 YAML(以及现代 Python 项目标配的 TOML)。处理不好序列化细节,轻则中文变成 \u4e2d\u6587 乱码,重则引入严重的安全漏洞(如反序列化任意代码执行)。

一、 JSON 序列化高阶技巧与自定义类型扩展

标准库 json 默认只支持基础类型(dict, list, str, int, float, bool, None)。遇到 datetime 或 Path 对象时,直接 json.dumps() 会抛出 TypeError: Object of type datetime is not JSON serializable。

通过自定义 default 钩子函数,我们可以优雅地扩展序列化能力:

import json
from datetime import datetime
from pathlib import Path
from typing import Any


def custom_json_serializer(obj: Any) -> Any:
    """扩展 json.dumps 以支持 datetime 和 Path 对象"""
    if isinstance(obj, datetime):
        return obj.isoformat()
    if isinstance(obj, Path):
        return str(obj)
    raise TypeError(f"不支持序列化的类型: {type(obj).__name__}")


payload = {
    "service": "helloworld-core",
    "deployed_at": datetime.now(),
    "work_dir": Path("/var/www/app"),
    "slogan": "让技术连接开发者",
}

# ensure_ascii=False 保证中文原样输出,indent=2 提升配置文件可读性
json_str = json.dumps(payload, default=custom_json_serializer, ensure_ascii=False, indent=2)
print(json_str)

二、 CSV 报表读写与 Excel 乱码终结方案

使用标准库 csv.DictReader 和 csv.DictWriter,可以直接把每一行表格映射为字典,彻底摆脱按列下标 row[3] 取值的脆弱写法:

import csv
from pathlib import Path

rows = [
    {"uid": 1001, "nickname": "CodeCraft", "points": 520},
    {"uid": 1002, "nickname": "Pythonista", "points": 880},
]

csv_path = Path("community_rank.csv")

# 工程秘籍:写入给运营同学用 Excel 打开的 CSV 时,使用 encoding="utf-8-sig"(带 BOM 头)
# 可 100% 解决 Windows Excel 双击打开 UTF-8 CSV 中文乱码的世纪难题!
with csv_path.open("w", encoding="utf-8-sig", newline="") as f:
    writer = csv.DictWriter(f, fieldnames=["uid", "nickname", "points"])
    writer.writeheader()
    writer.writerows(rows)

三、 安全警告:远离 pickle 与不安全的 yaml.load

  1. 严禁反序列化不可信来源的 pickle 数据:pickle 在还原对象时可以执行任意 Python 字节码,加载外部传入的 .pkl 文件等同于直接把服务器 Root 权限拱手让人。
  2. 解析 YAML 必须使用 yaml.safe_load():安装 PyYAML 后,永远使用 yaml.safe_load(text) 替代旧版的 yaml.load(text),防止恶意构造的 YAML 标签触发远程代码执行(RCE)。

💬 HelloWorld 社区实战打卡

运营同学导出了一份包含用户积分的 CSV 文件,请你用 csv.DictReader 读取它,并过滤出 points >= 500 的高活跃用户导出为一个格式化良好的 vip_users.json 文件。带 #Python专栏打卡 标签贴出你的核心代码!