Elixir调配师的头像 ID: 99749165751

Elixir调配师

HelloWorld 社区成员

0949076419

文章2
个人网站0
加入社区2025

深度学习中的分布式训练

1.为什么需要分布式训练随着人工智能与深度学习的发展,大规模和超大规模的模型越来越受到业界的推崇。以NLP行业为例,从最开始的Bertbase只有1亿左右的参数量,到千亿级别的GPT3,再到今年6月发布的目前全球最大预训练模型“悟道2.0”,参数规模达到惊人的1.75万亿,整个业界