极客拼图家的头像 ID: 17321082064

极客拼图家

HelloWorld 社区成员

0992930524

文章3
个人网站0
加入社区2025

更适合文本分类的轻量级预训练模型解析

自BERT起,预训练语言模型沿着海量训练数据和庞大网络结构的方向在不断发展着。在12月落幕的NeurIPS2020会议上,最新语言模型GPT3荣膺最佳论文奖。OpenAI的研究人员使用了多达45TB的文本数据来训练它的1750亿个参数。GPT3不仅仅是“变得更大”,