HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

知识蒸馏相关技术【模型蒸馏、数据蒸馏】以ERNIE-Tiny为例

1.任务简介基于ERNIE预训练模型效果上达到业界领先,但是由于模型比较大,预测性能可能无法满足上线需求。直接使用ERNIETiny系列轻量模型finetune,效果可能不够理想。如果采用数据蒸馏策略,又需要提供海量未标注数据,可能并不具备客观条件。因此,本专题采用主流的知识

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。