返回专栏
专栏 ·

6.2 生成器(Generator):yield 状态机挂起机制与大数据流式处理(O(1) 内存占用)

作者: 九路 共 12 章 · 48 小节

欢迎回到 HelloWorld 技术社区(www.helloworld.net) 《Python 现代开发实战》专栏。

手写实现 __iter__ 和 __next__ 的迭代器类实在太繁琐了。Python 提供的 yield 关键字,能把任何普通函数瞬间变成一个遵循迭代器协议的生成器函数。

当函数执行遇到 yield value 时,它不会像 return 那样销毁栈帧,而是把当前的局部变量、指令指针原封不动地冻结挂起,把 value 交出去;直到外部下次调用 next() 时,再从刚才暂停的那一行继续往下跑!

from collections.abc import Generator
from pathlib import Path


def stream_error_logs(log_path: Path) -> Generator[str, None, None]:
    """流式过滤超大日志文件中的 ERROR 行,无论文件 10MB 还是 50GB,内存占用恒定为 O(1)"""
    with log_path.open("r", encoding="utf-8") as f:
        for line_no, line in enumerate(f, start=1):
            if "[ERROR]" in line:
                yield f"Line {line_no}: {line.strip()}"

💬 HelloWorld 社区实战打卡

编写一个无限生成递增订单流水号的生成器函数 order_id_generator(prefix: str = "HW"),使其每次 next() 依次吐出 "HW-000001"、"HW-000002"… 带 #Python专栏打卡 贴出代码!