Bert语义在360搜索中的探索实践-工程优化
<blockquoteBert模型网络结构较深,参数量庞大,将Bert模型部署成在线服务在实时性和吞吐上面临巨大挑战。本文主要介绍360搜索将Bert模型部署成在线服务的过程中碰到的一些困难以及做的工程方面的优化。</blockquote背景在360搜索场景下对在线Bert服务
<blockquoteBert模型网络结构较深,参数量庞大,将Bert模型部署成在线服务在实时性和吞吐上面临巨大挑战。本文主要介绍360搜索将Bert模型部署成在线服务的过程中碰到的一些困难以及做的工程方面的优化。</blockquote背景在360搜索场景下对在线Bert服务