6.2 生成器(Generator):yield 状态机挂起机制与大数据流式处理(O(1) 内存占用)
本节目录
欢迎回到 HelloWorld 技术社区(www.helloworld.net) 《Python 现代开发实战》专栏。
手写实现 __iter__ 和 __next__ 的迭代器类实在太繁琐了。Python 提供的 yield 关键字,能把任何普通函数瞬间变成一个遵循迭代器协议的生成器函数。
当函数执行遇到 yield value 时,它不会像 return 那样销毁栈帧,而是把当前的局部变量、指令指针原封不动地冻结挂起,把 value 交出去;直到外部下次调用 next() 时,再从刚才暂停的那一行继续往下跑!
from collections.abc import Generator
from pathlib import Path
def stream_error_logs(log_path: Path) -> Generator[str, None, None]:
"""流式过滤超大日志文件中的 ERROR 行,无论文件 10MB 还是 50GB,内存占用恒定为 O(1)"""
with log_path.open("r", encoding="utf-8") as f:
for line_no, line in enumerate(f, start=1):
if "[ERROR]" in line:
yield f"Line {line_no}: {line.strip()}"
💬 HelloWorld 社区实战打卡
编写一个无限生成递增订单流水号的生成器函数 order_id_generator(prefix: str = "HW"),使其每次 next() 依次吐出 "HW-000001"、"HW-000002"… 带 #Python专栏打卡 贴出代码!