鳌拜问Bruce深度学习框架问题?我...
文章目录

01
深度学习框架概述与深度学习技术的四大阵营
人工智能从学术理论研究到生产应用的产品化开发过程中通常会涉及到多个不同的步骤和工具,这使得人工智能开发依赖的环境安装、部署、测试以及不断迭代改进准确性和性能调优的工作变得非常繁琐耗时也非常复杂。为了简化、加速和优化这个过程,学界和业界都作了很多的努力,开发并完善了多个基础的平台和通用工具,也被称会机器学习框架或深度学习框架。
有了这些基础的平台和工具,我们就可以避免重复发明轮子,而专注于技术研究和产品创新。这些框架有早期从学术界走出的Caffe、 Torch和Theano,到现在产业界由Google领导的TensorFlow,Amazon选择押注的MXNet,Facebook倾力打造的PyTorch,Microsoft内部开源的CNTK等等。
当前主流的深度学习框架列表: ·
- TensorFlow
- Keras
- PyTorch
- MXNet
- Caffe
- Caffe2
- Theano
- FastAI
- CNTK
- Gluon
- Torch
- Deeplearning4j
- Chainer
还有其他呢 ·
其它小众深度学习框架还有如亚马逊曾经使用的深度学习引擎DSSTNE,卡耐基梅隆大学的小众DyNet,Intel开源的基于Spark且只能运行在Intel CPU芯片之上的深度学习库BigDL,Nervana开发的基于Python的深度学习库Neon,简洁无依赖且符合C++11标准的tiny-dnn,基于Theano的轻量级的库Lasagne等。
这其中有几个框架曾经辉煌过,但是现在已经被更新的框架取代了,或者被新一代的版本收编了,我们称他们为没落的贵族,如Torch,基于Python的版本PyTorch已经取代了Torch。Caffe与Caffe2,Facebook已经把Caffe和Caffe2与PyTorch进行了整合,推出了全新的PyTorch 1.0,资历最老的框架之一Theano的创始人已经转投TensorFlow,已经停止更新维护走向没落了。
基于Java和Scala的开源的分布式深度学习库Deeplearning4J在深度学习领域缺少像Python这样强大的社区支持,日本公司Preferred Networks开源的Chainer曾经是动态计算图的首选框架,特别适用于自然语言处理,但后来MXNet,PyTorch等也支持了这个特性,其优势也不复存在了。由于没有巨头的支持,Deeplearning4J和Chainer都只能默默的发展。
看起来我们好像有很多很多选择,但其实如果我们进一步进行细分,就会发现我们的选择也并不是很多,没有巨头背书的框架就只能面临被淘汰和边缘化的命运了,其实顶级深度学习框架只有四大阵营,或者说是四大门派,Google领导的TensorFlow,Amazon选择的MXnet,Facebook倾力打造的PyTorch,Microsoft把内部核心技术开源的CNTK。虽然Keras等框架在深度学习框架中排名很高,但它却不是一个独立框架,而是作为前端对底层引擎进行上层封装的高级API层,提升易用性,此类深度学习框架的目标是只需几行代码就能让你构建一个神经网络,这类框架还有FastAI和Gluon。好在每一个前端上层轻量级框架又都对应一个最适合的基础底层框架,这样就出现了深度学习框架的四大技术方向,每一个技术方向背后又都有一个巨头在背书和推动。
深度学习框架的四大阵营与其技术方向分别为:
(1)TensorFlow,前端框架Keras,背后巨头Google;
(2)PyTorch,前端框架FastAI,背后巨头Facebook;
(3)MXNet,前端框架Gluon,背后巨头Amazon;
(4)Cognitive Toolkit (CNTK),前端框架Keras或Gluon,背后巨头Microsoft。
诞生于中国本土的深度学习框架
- 华为MindSpore
2018年10月10日,华为在上海全联接大会上首次发布华为AI战略与全栈全场景AI解决方案,包括Ascend(昇腾)系列AI芯片以及CANN算子库、MindSpore深度学习框架、AI开发平台ModelArts。华为MindSpore支持端、边、云独立的和协同的统一训练和推理框架。但是目前仍然在开发中,以华为在中国科技界地位和研发投入,自然是最受大家期待的。华为云虽然可以支持其它所有主流的深度学习框架,但就如同Amazon选择MXNet一样,这不是一个可以讨论的问题,为了不受制于人,是一定要有的。我相信为了与其它主流框架进行竞争,MindSpore将来也一定会开源的。
- 百度PaddlePaddle
2016年8月底百度开源了内部使用多年的深度学习平台PaddlePaddle,PaddlePaddle 100% 都在Github上公开,没有内部版本。PaddlePaddle能够应用于自然语言处理、图像识别、推荐引擎等多个领域,其优势在于开放的多个领先的预训练中文模型。PaddlePaddle的2013年版本是百度杰出科学家徐伟主导设计和开发的,其设计思路是每一个模型的表示方式都是“一串Layers”, Caffe的作者贾扬清称赞了百度的 PaddlePaddle,并说“整体的设计感觉和 Caffe 心有灵犀”。三年后,百度AI团队在徐伟的指导下作了两次升级,2017年4月推出PaddlePaddle v2,v2参考TensorFlow增加了Operators的概念,把Layers打碎成更细粒度的Operators,同时支持更复杂的网络拓扑图而不只是“串”。2017 年底推出PaddlePaddleFluid。Fluid类似PyTorch,提供自己的解释器甚至编译器,所以不受限于 Python 的执行速度问题。
- 阿里巴巴XDL (X-Deep Learning)
2018年11月,阿里巴巴宣布,其大数据营销平台阿里妈妈将把其应用于自身广告业务的算法框架XDL (X-Deep Learning)进行开源,正式加入开源学习框架的激烈竞争。XDL主要是针对特定应用场景如广告的深度学习问题的解决方案,是上层高级API框架而不是底层框架。XDL需要采用桥接的方式配合使用 TensorFlow 和 MXNet 作为单节点的计算后端,XDL依赖于阿里提供特定的部署环境。
- 小米MACE
2018年6月28日,小米首席架构师、人工智能与云平台副总裁崔宝秋宣布正式开源小米自研的移动端深度学习框架(MACE) Mobile AI Compute Engine。它针对移动芯片特性进行了大量优化,目前在小米手机上已广泛应用,如人像模式、场景识别等。该框架采用与 Caffe2 类似的描述文件定义模型,因此它能非常便捷地部署移动端应用。目前该框架为 TensorFlow 和 Caffe 模型提供转换工具,并且其它框架定义的模型很快也能得到支持。
如何做深度学习框架的选型
进入深度学习领域,基础是学习Python。可以说现在进入深度学习领域是相对容易的,在5年前,研究深度学习需要用C++或Matlab来编写大量的低级算法,这需要研究生教育甚至是博士的教育。现在不一样了,你只需要学习Python,就很容易上手,虽然深度学习正在支持越来越多的编程语言,但Python最简单而且应用最广泛的一个,Python最厉害的地方在于其生态系统非常好,有社区的强大支持,比如要装Python,有方便的Anaconda;要用Python visualization,有Matplotlib可以用;要Numerical computation有NumPy和SciPy可以选择,要做图像处理,还有Scikit-image。有很多现成的工具可以使用,可以节省自己大量的时间,这正是工程师所需要的。
在对所有主流深度学习框架有一个了解后,我想是时候舍弃开发语言(基本都支持Python和C++,Java和Lua面向特定社区)、接口简易、文档完善、运算速度、性能、安装部署方便等方面的纯技术比较了,可能在这些框架诞生的初期我们更看重这些方面,但是随着各个框架的不断的完善与大企业的支持与不断的投入,各个框架之间也在不断的相互借鉴,最后的结果就是大家都差不多,各有千秋,我们现在要进入深一层维度的比拼,应该至少考虑下面几个维度:
01
深度学习框架是否支持分布式计算,是不是分布式框架?
分布式:TensorFlow、MXNet、PyTorch、CNTK、Caffe2、DL4J
不支持分布式:Caffe、Theano、Torch
02
深度学习框架是否支持移动端部署?
支持:PyTorch、MXNet、TensorFlow、Caffe2
不支持:CNTK
03
编程接口的设计是命令式编程(imperative programming)还是声明式语言(declarative programing)?
命令式:简单易懂的编程接口PyTorch,NumPy和Torch、Theano
MXNet通过NDarray模块和Gluon高级接口提供了非常类似PyTorch的编程接口。
声明式:TensorFlow、Theano、Caffe
04
深度学习框架是基于动态计算图还是静态计算图?
目前使用动态计算图的框架有PyTorch、MXNet、Chainer。
目前使用静态计算图框架有TensorFlow、Keras、CNTK、Caffe/Caffe2、Theano等,其
TensorFlow主要使用了静态计算图,TensorFlow在2018年10月宣布了一个动态计算选项Eager Execution,但该特性还比较新颖可能并不是很成熟,并且 TensorFlow 的文档和项目依然以静态计算图为主。MXNet同时具有动态计算图和静态计算图两种机制。
05
深度学习框架是否有强大的社区和生态支持?
重金打造的TensorFlow,多方押注的MXNet,正在崛起的PyTorh,技术稳重的CNTK,
这四大开源深度学习框架都满足这一点。
06
深度学习框架背后是否有巨头支持?
Google领导的TensorFlow,Amazon选择的MXNet,Facebook倾力打造的PyTorch,Microsoft把内部核心技术开源的CNTK,这四大开源深度学习框架都满足这一点。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论