CS224N-2017-笔记:05 反向传播和实践建议
文章目录
CS224N-2017-笔记:05 反向传播和实践建议
课程官网:http://web.stanford.edu/class...CS224N:深度自然语言处理课程(Natural Language Processing with Deep Learning)
个人学习的视频来自B站上雷锋字幕组的翻译,在此感谢课程的分享、翻译人员。
“Base eight is just like base ten really, if you're missing two fingers” --Tom Lehrer
- Lecture5 从四个角度解释了反向传播,并给出了一些项目的指导建议(对NLP的时间还是很有帮助的)。
1. 反向传播的四种解释
【解释1】数学公式
-
单层神经网络

-
$J=\max(0,1-s+s_c)$
- $s=U^Tf(Wx+b)$
- $s_c=U^Tf(Wx_c+b)$
-
对$U$的求导:
- $\frac{\partial J}{\partial U}=1\{1-s+s_c>0\}(-f(Wx+b)+f(Wx_c+b))$
- $\frac{\partial J}{\partial U}=1\{1-s+s_c>0\}(-a+a_c)$
-
-
双层神经网络和全反馈

-
公式表示:
$$ \begin{align} s&=U^Tf(W^{(2)}f(W^{(1)}x+b^{(1)})+b^{(2)})\\ &=U^Tf(W^{(2)}a^{(2)}+b^{(2)})\\ &=U^Ta^{(3)} \end{align} $$
-
对$W^{(2)}$求导:
$$ \begin{aligned} \frac{\partial s}{\partial W_{ij}^{(2)}}&=U_if'(z_i^{(3)})a_j^{(2)}\\ &=\delta_i^{(3)}a_j^{(2)} \end{aligned} $$
- 矩阵符号表示:$\frac{\partial s}{\partial W^{(2)}}=\delta^{(2)}{a^{(2)}}^T$
- 其中,$\delta^{(3)}=U\circ f'(z^{(3)})$。$\circ$是元素积(element-wise product),也叫Hadamard乘积($\odot$, $\otimes$),即每个矩阵元素对应相乘。
-
相应的链式:
- $\delta^{(2)}=({W^{(2)}}^T\delta^{(3)})\circ f'(z^{(2)})$
-
-
反向传播
- $\delta^{(l)}=((W^{(l)})^T\delta^{(l+1)})\circ f'(z^{(l)})$
- $\frac{\partial}{\partial W^{(l)}}E_R=\delta^{(l+1)}(a^{(l)})^T+\lambda W^{(l)}$
【解释2】电路("Circuits")
-
电路示例:函数$f(x,y,z)=(x+y)z$,($x=-2,y=5,z=-4$)

-
神经元

【解释3】高层流图(high-level flowgraph)

【解释4】实际神经网络中的误差信号

2. 实践提醒
- 确定任务
- 确定数据集
- 确定指标(如,Rouge、F1、BLEU的区别)
- 划分数据集(Train/Dev/Test,可以8/1/1,要避免测试集和训练集产生重叠)
- 创建基线
- 实现已有的神经网络模型
- 仔细观察数据(可视化、摘要、误差、分析超参数)
- 尝试不同的模型种类
这一节中将反向传播进一步解释,理解更加透彻了(说实话,纯数学公式一开始没懂,后来图像示意下终于清楚了。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论