腾讯混元开放 Hy4 flash 权重,百万上下文怎样做文档评测

来源:腾讯混元· 2026年11月17日阅读原文 ↗

腾讯混元公开了 Hy4 flash 的指令模型、FP8 量化指令模型与预训练基础模型。腾讯当前模型卡给出的口径是约 2200 亿总参数、每个 Token 约 120 亿激活参数。模型原生接收文字和图片,输出文字,上下文上限为 1,048,576 Token。对企业文档应用而言,最值得验证的是它能否在混合文字、表格和图像的输入里稳定找到证据。腾讯模型卡

激活参数解释计算量,部署还要算权重

Hy4 flash 采用混合专家架构。模型卡显示,路由会为每个 Token 从 512 个路由专家中选择 16 个,另有一个共享专家;骨干还接入 Engram,通过哈希查找引入二元组和三元组的学习表示。注意力部分交替使用稀疏注意力与滑动窗口注意力。公开仓库整理了模型结构、版本入口和推理支持情况,适合从架构一路看到部署条件。腾讯 GitHub 仓库

评估部署成本时,可以把预算拆成三项。第一项是不同精度和分片方式下的权重及常驻内存,第二项是输入长度和并发带来的缓存与工作区,第三项是跨卡通信、加载和重启耗时。每个 Token 激活的专家只占一部分,服务仍要能访问后续 Token 可能路由到的其他专家权重。模型卡还为不同推理框架列了版本和接入说明,部署时应一起锁定框架、模型修订和精度,以便复现表现。腾讯部署说明

用文档问答验证百万上下文

可以从一套公开产品手册开始。把最新版、旧版、故障说明和两页图表放在一起,问一个只有最新版图表能回答的问题,再准备一个整套文档都没有答案的问题。将证据放在开头、中部和末尾分别测试,观察模型是否引用了正确页码、版本与图表列,能否在缺少证据时明确说明。对扫描件还可以增加倾斜页面和跨页表格,记录错误发生在识别、检索还是归纳阶段。

同一批问题可以跑两条路径。一条送入完整材料,一条先通过检索挑出候选段落,再交给模型回答。分别记录证据命中率、回答正确率、首字延迟与单次任务成本。完整输入可能保住跨章节线索,检索则能减少重复传输和预填充时间。版本频繁更新的知识库还应单独统计过期引用率,避免长输入把互相矛盾的条款一起带入答案。

选择权重版本和接入方式

指令版适合做面向用户的试验,FP8 版可以作为显存和吞吐的对照,基础版主要面向继续训练等场景。先用短文本和单图验证模型修订、聊天模板及输出,再扩展到多图、长输入和目标并发。对托管 API 和自建服务,分别记录每份通过验收的文档用掉的费用与时间,把重试和人工核对也算进去。腾讯为权重附有 Tencent Hy License,准备商用或再分发时可以从权重仓库核对相应条款。权重许可

上线前值得固定一批真实问题作为回归集。每次更换权重精度、文档切分方式或推理框架,都保留同样的答案检查项。对于需要追溯来源的应用,优先保证每条结论能回到证据,再根据延迟和成本决定哪些请求使用长上下文。

评论

暂无评论