MegEngine 优化 dataloader 使用体验!data monitor 帮助更好定位性能瓶颈
业务模型训练中Data部分可能是瓶颈所在在训练业务模型过程中,如果我们发现模型的训练速度不符合预期,往往会下意识地认为网络本身出了问题。但实际上,大多数时候问题发生在模型的数据供给逻辑中。区分一个训练过程的瓶颈到底是在准备数据,还是在网络的计算阶段其实是很简单的。比如对于下面这段
业务模型训练中Data部分可能是瓶颈所在在训练业务模型过程中,如果我们发现模型的训练速度不符合预期,往往会下意识地认为网络本身出了问题。但实际上,大多数时候问题发生在模型的数据供给逻辑中。区分一个训练过程的瓶颈到底是在准备数据,还是在网络的计算阶段其实是很简单的。比如对于下面这段
一:变量
这篇博客本不应由我写,但由于团队要求每周最少一篇,而这周又实在不知道写啥,又正好我也遇到了这个问题。所以我就“抢”了过来……在此,感谢潘哥!团队在上周才启用前台的单元测试,对于解决前台的单元测试的错误还十分不成熟,遇到错误时经常一脸懵逼,这次的这个问题也是在潘老师的帮助下才解决的。错
!图片描述(/img/bVbhOAl?w400&h300)效果预览按下右侧的“点击预览”按钮可以在当前页面预览,点击链接可以全屏预览。https://codepen.io/comehope/pen/gBwzKR(https://codepen.io/come