CS224N-2017-笔记:05 反向传播和实践建议

CS224N-2017-笔记:05 反向传播和实践建议

课程官网:http://web.stanford.edu/class...

CS224N:深度自然语言处理课程(Natural Language Processing with Deep Learning)

个人学习的视频来自B站上雷锋字幕组的翻译,在此感谢课程的分享、翻译人员。

“Base eight is just like base ten really, if you're missing two fingers” --Tom Lehrer
  • Lecture5 从四个角度解释了反向传播,并给出了一些项目的指导建议(对NLP的时间还是很有帮助的)。

1. 反向传播的四种解释

【解释1】数学公式

  • 单层神经网络

    05-01.png

    • $J=\max(0,1-s+s_c)$

      • $s=U^Tf(Wx+b)$
      • $s_c=U^Tf(Wx_c+b)$
    • 对$U$的求导:

      • $\frac{\partial J}{\partial U}=1\{1-s+s_c>0\}(-f(Wx+b)+f(Wx_c+b))$
      • $\frac{\partial J}{\partial U}=1\{1-s+s_c>0\}(-a+a_c)$
  • 双层神经网络和全反馈

    05-02.png

    • 公式表示:

      $$ \begin{align} s&=U^Tf(W^{(2)}f(W^{(1)}x+b^{(1)})+b^{(2)})\\ &=U^Tf(W^{(2)}a^{(2)}+b^{(2)})\\ &=U^Ta^{(3)} \end{align} $$

    • 对$W^{(2)}$求导:

      $$ \begin{aligned} \frac{\partial s}{\partial W_{ij}^{(2)}}&=U_if'(z_i^{(3)})a_j^{(2)}\\ &=\delta_i^{(3)}a_j^{(2)} \end{aligned} $$

      • 矩阵符号表示:$\frac{\partial s}{\partial W^{(2)}}=\delta^{(2)}{a^{(2)}}^T$
      • 其中,$\delta^{(3)}=U\circ f'(z^{(3)})$。$\circ$是元素积(element-wise product),也叫Hadamard乘积($\odot$, $\otimes$),即每个矩阵元素对应相乘。
    • 相应的链式:

      • $\delta^{(2)}=({W^{(2)}}^T\delta^{(3)})\circ f'(z^{(2)})$
  • 反向传播

    • $\delta^{(l)}=((W^{(l)})^T\delta^{(l+1)})\circ f'(z^{(l)})$
    • $\frac{\partial}{\partial W^{(l)}}E_R=\delta^{(l+1)}(a^{(l)})^T+\lambda W^{(l)}$

【解释2】电路("Circuits")

  • 电路示例:函数$f(x,y,z)=(x+y)z$,($x=-2,y=5,z=-4$)

    05-03.png

  • 神经元

    05-04.png

【解释3】高层流图(high-level flowgraph)

05-05.png

【解释4】实际神经网络中的误差信号

05-06.png

2. 实践提醒

  1. 确定任务
  2. 确定数据集
  3. 确定指标(如,Rouge、F1、BLEU的区别)
  4. 划分数据集(Train/Dev/Test,可以8/1/1,要避免测试集和训练集产生重叠)
  5. 创建基线
  6. 实现已有的神经网络模型
  7. 仔细观察数据(可视化、摘要、误差、分析超参数)
  8. 尝试不同的模型种类
这一节中将反向传播进一步解释,理解更加透彻了(说实话,纯数学公式一开始没懂,后来图像示意下终于清楚了。

评论

暂无评论