LSTM学习前传
文章目录
转发来自:https://zhuanlan.zhihu.com/p/...
DNN 的结构
DNN(Deep Neural Network)的基本结构如下。其中x表示一个训练样本向量,y表示期望的输出向量。
因此,一个基础的 DNN 的网络就是下图的形式
Back Propagation
当设计好了 DNN 的结构,且有了训练样本,再给出损失函数的定义,接下来就可以求 DNN 中的参数W和b了。而所用的算法,本质就是梯度下降法,这里称为 BP(Back Propagation) 算法。需要注意的是,Deep Learning 中所说的 BP 跟传统的 BP 不完全一样,已经简化成纯粹的梯度下降,更容易理解,以下介绍的也是这种方法。
下图先简单地回顾下求导的链式法则。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论