那批 Iceberg 文件,究竟是谁还在用?
文章目录
对象存储账单又涨了一截。有人打开一张 Iceberg 表,看到三个月前的快照还在,便提议每周删一次旧文件。另一个人正跑一份需要读取昨日版本的财务报表。两个人说的「旧」仅在日历上相似。对 Iceberg 而言,一个对象能不能删,取决于路径是否仍被引用,以及某个尚未提交的作业是否正准备引用它。
设一张事件表平时每十分钟写一批,月底有一次十四小时的回补。分析人员需要近七天时间旅行,财务团队用月末标签锁住关账版本。下面用这套虚构业务举例,制定清理周期。
快照过期与清孤儿,先在纸上分一次
同一个数据文件可能被当前快照和多个旧快照共同引用。旧快照退场后,只要当前视图仍通过 manifest 引用文件,它就要留下。历史快照、分支和标签能让某些文件继续存活。过了业务默认保留窗口却仍看得到旧文件,先检查有哪些快照引用,别去对象存储控制台按修改时间逐个删。
孤儿对象没有在当前表元数据引用图里出现。中止的写任务可以留下孤儿,同样,在途写任务也可能已经上传对象、还没来得及提交。状态只差一行元数据,于是决定删不删的第二根尺是文件年龄和写入水位。十四小时写入、三小时重试、一次值班确认延迟,加起来可能远大于某个计算引擎的快速预检区间。最好从实际作业日志取这个上界,别只看平日十分钟批任务。

先理解引用图,再配置保留期;在途写入和长查询决定安全余量。
先用目录与引用清单对账
在使用 Spark 的隔离表里,可以从元数据表读操作消耗和活动引用。下面假设 catalog、库名和表名都已经存在,具体过程参数以部署版本文档为准。
SELECT committed_at, snapshot_id, operation
FROM demo.analytics.events.snapshots
ORDER BY committed_at DESC;
SELECT name, type, snapshot_id
FROM demo.analytics.events.refs;
CALL demo.system.remove_orphan_files(
table => 'analytics.events',
older_than => TIMESTAMP '2026-11-10 00:00:00',
dry_run => true
);
日期仅用于示范预检。拿到候选以后抽样追溯创建任务、文件前缀和对象 URI。比如写入方统一用 s3a://,不同工具的清单里却出现 s3://。如果清理端按字符串匹配,可能把同一对象当成两份。检查当前引擎对 URI scheme 与 authority 的等价配置,遇到意外路径先停止清理。还要看表目录是否被其他表误用,或者存在一批文件同时由多套元数据管理。这样的部署需要先收敛存储所有权,否则单表扫描不足以作出删除决定。
为什么一次小文件整理,反而多出了文件
一个实际会让人误判的例子。当天表有一万个小文件,整理任务生成两百个新文件。当前快照读新的两百个,旧快照仍可能读以前的一万个。桶里临时有一万零两百个,这是这项操作的正常中间状态。若负责人看到新版本查询变快、对象数量反而上涨,先比较整理产生的新快照与快照过期周期。想重做旧报表的同事能继续查,说明当前仍需要其中一部分旧文件。
小文件压缩后也要看写入竞争。整理基于某一批快照进行,期间新流量仍然提交,实际提交与重试行为由引擎和表策略决定。对某些负载,在追加高峰执行多项维护会拖慢提交,影响比存储节约更直接。将高并发写和维护的时间轴放在一起看。试点同一张表时统一记录扫描对象数、候选数、真正回收字节、历史版本读取与失败提交。一次预检发现候选从几十变成数万,要能定位来自哪个作业、目录和快照引用变化。
另外给关账标签加所有者和到期约定。没有人敢删的标签可能变成隐性的永久保留;将所有者离职或团队转移也纳入变更流程。对对象存储的删除若启用版本管理,报告中的逻辑回收与发票应按实际生命周期对账。维护策略的成果,是能预测某一天需要继续存哪些数据、给谁用,而不是把每次删得最多当成成功。
回滚演练要读回一个确实被业务用过的关账快照,并校验其聚合结果,不只看看快照 ID 还能列出来。再试一次最长的读作业,在运行期间模拟清理规则,确认它引用的文件仍在生命周期里。这样保留计划既覆盖元数据视图,也有实际读路径作证。
保留表写给业务,而非写给 cron
| 目标 | 证据 | 本例的起点 |
|---|---|---|
| 普通时间旅行 | 查询日志中的实际回看范围 | 至少七天 |
| 月末留档 | 关账流程和标签所有者 | 关账标签单独处理 |
| 在途写入 | 最长写入、重试和提交延迟 | 覆盖完整回补窗口 |
| 删除观察 | 预检候选与历史清单差异 | 先看一轮再执行 |
快照过期、压缩小文件、扫描孤儿各写一条调度。压缩将文件换成新路径,同时生成新快照。旧路径可能继续服务在途读取或时间旅行,因此压缩后对象数短暂上升可以是正常的。过期和清孤儿都能回收部分空间,报告中要记录它们各自删了什么,出现误差时才知道从哪条任务找原因。
月末回补漫长,适合成为演练里的最坏路径。让一批文件先完成上传,在提交之前运行预检,确认这批在途对象不进入候选。再恢复写任务并读历史标签,确保版本可查询。对象存储有版本管理时,删除当前版本还可能留下历史对象,回收字节数和账单降幅仍需分别核对。这样清理任务既能回收空间,也不会让同事重算一个月的报表。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论