CS224N-2017-笔记:04 Word Window分类与神经网络

CS224N-2017-笔记:04 Word Window分类与神经网络

课程官网:http://web.stanford.edu/class...

CS224N:深度自然语言处理课程(Natural Language Processing with Deep Learning)

个人学习的视频来自B站上雷锋字幕组的翻译,在此感谢课程的分享、翻译人员。

“Computers do not solve problems, they execute solutions.” --Laurent Gasser
  • Lecture4 介绍了分类问题的背景与词窗口在其上的应用,并介绍了单层神经网络、反向传播和Max-Margin损失函数等内容。

1. 分类(Classification)问题介绍

分类问题的符号表示

  • 训练集由样本组成: $\{x_i,y_i\}^N_{i=1}$
  • $x_i$:$d$-维向量,表示输入,如词(指针或向量)、上下文窗口、句子、文档等。
  • $y_i$:$C$-维独热向量,表示期待的预测结果。

分类问题的一般求解

  • 简单的方法

    • 词向量是固定的;
    • 使用逻辑回归(logistic regression)方法;
    • 一般是线性的决策边界(linear decision boundary)。
  • 一般的机器学习方法

    • 假设输入$x$是固定的,来训练逻辑回归的权重$W$;
    • 只改变决策边界,而不改变词向量。
    • 目标:对每个输入预测 $p(y|x)=\frac{\exp(W_y.x)}{\sum^C_{c=1}\exp(W_c.x)}$, $W\in \mathbb{R}^{C\times d}$

softmax和交叉熵损失函数

  • softmax的细节

    • softmax:$p(y|x)=\frac{\exp(W_y.x)}{\sum^C_{c=1}\exp(W_c.x)}$
    • 步骤一:$W$上的某行与输入$x$相乘,$W_y.x=\sum^d_{i=1}W_{yi}x_i=f_y$。
    • 步骤二:进行归一化得到概率。
  • 交叉熵损失 (cross-entropy error)

    • 对每个输入例子$\{x,y\}$,目标是最大化输出正确的概率
    • 即,最小化概率的负对数:$-\log p(y|x)=-\log(\frac{\exp(f_y)}{\sum^C_{c=1}\exp(f_c)})$
    • 等价于交叉熵:$H(p,q)=-\sum^C_{c=1}p(c)\log q(c)$

      • $p$为真实分布,即$y_i $,注意其为独热的;
      • $q$为非真实分布,即$p(y|x)$。

$$ \begin{aligned} H(p,q)&=-\sum^C_{i=1}y_i\log(\frac{\exp(W_i.x)}{\sum^C_{c=1}\exp(W_c.x)})\\ &=-\log(\frac{\exp(f_y)}{\sum^C_{c=1}\exp(f_c)})\\ &=-\log(p(y|x)) \end{aligned} $$

  • KL-散度 (KL divergence)

    • $D_{KL}(p||q)=\sum^C_{c=1}p(c)\log\frac{p(c)}{q(c)}$

分类问题

  • 对全部N个样本:$J(\theta)=\frac{1}{N}\sum^N_{i=1}-\log(\frac{e^{f_{y_i}}}{\sum^C_{c=1}e^{f_c}})$

    • $f_y=f_y(x)=W_{y.}x=\sum^d_{j=1}W_{yi}x_j$
    • 即,$f=Wx$
    • $J(\theta)=-\frac{1}{N}\sum_{i=1}^N\log(\frac{e^{Wx}}{\sum^C_{c=1}e^{Wx}})$
  • 加上正则化(regularization)

    • $J(\theta)=\frac{1}{N}\sum^N_{i=1}-\log(\frac{e^{f_{y_i}}}{\sum^C_{c=1}e^{f_c}})+\lambda\sum_k\theta^2_k$
    • 加入正则化,防止过拟合(overfitting)

2. 词向量的改变

  • 通过介绍上面分类问题中的传统机器学习方法,我们会发这些方法只是改变边界,而并没有学习、改变词向量,那么词向量的改变有什么必要,以及改变词向量有何难点呢?

机器学习&深度学习

  • 在传统的机器学习问题中,参数矩阵的维度不会太大,但在深度学习中,需要同时学习权值矩阵和词向量,参数过多,容易发生过拟合。
  • 一般的机器学习:

    • 需要学习的$\theta$仅由权值矩阵$W$的每一列组成:$\theta=\begin{bmatrix}W_{.1}\\.\\.\\.\\W_{.d}\end{bmatrix}=W(:)\in\mathbb{R}^{Cd}$
    • 只需要更新决策边界即可:$\triangledown_\theta J(\theta)=\begin{bmatrix}\triangledown_{W_{.1}\\.\\.\\.\\\triangledown_{W_{.d}}}\end{bmatrix}\in\mathbb{R}^{Cd}$
  • 在深度学习中:

    • 既要学习权值矩阵$W$,又要学习词向量$x$
    • $\triangledown_\theta J(\theta)=\begin{bmatrix}\triangledown_{W_{.1}}\\.\\.\\\triangledown_{W_{.d}}\\\triangledown_{x_{aaradvark}}\\.\\.\\\triangledown_{x_{zebra}}\end{bmatrix}\in\mathbb{R}^{Cd+Vd}$
    • 其中,由于$Vd$很大,使得容易发生过拟合(对小数据量的情况,不必再重新训练词向量,否则容易导致过拟合。如telly、TV、television中,如果训练集只含有telly和TV,会导致televison被分离开)。

词向量相关

  • 词向量矩阵$L$也被称为Lookup table。

    04-01.png

  • 词向量(word vectors) = 词嵌入(word embeddings) = 词表示(word representations, mostly)
  • 大部分使用和word2vec和Glove相似的方法(新的模型,基于字母的模型,character models)。

3. 基于窗口的分类(Window Classification)

基于上下文窗口的分类

  • 由于在上下文中产生的歧义(ambiguity)问题,对单个词进行分类很少使用。所以,我们通过一个词的上下文窗口来进行分类(如在命名实体识别任务中,分成四个类Person, location, organization, none)。
  • 训练一个分类器(classifier),通过给中心词加上标签并将其周围的词向量连接起来,如,

    04-02.png

    • $x_{window}=x\in\mathbb{R}^{5d}$,是个列向量。

最简单的窗口分类器:Softmax

  • 对$x=x_{window}$,使用Softmax分类器:$\hat y_y=p(y|x)=\frac{\exp(W_{y.}x)}{\sum^C_{c=1}\exp(W_{c.}x)}$
  • 交叉熵损失:$J(\theta)=\frac{1}{N}\sum^N_{i=1}-\log(\frac{e^{f_{y_i}}}{\sum^C_{c=1}e^{f_c}})$,其中$f_{y_i}=W_{y.}x$
  • 更新词向量的方法:使用梯度(derivatives)

    $$ \begin{aligned} \triangledown_xJ=\frac{\partial J}{\partial x}&=\frac{\partial}{\partial x}-\log softmax(f_y(x))\\ &=\sum^C_{c=1}-\frac{\partial\log softmax(f_y(x))}{\partial f_c}\cdot\frac{\partial f_c(x)}{\partial x}\\ &=\begin{bmatrix}\hat y_1\ ...\ \hat y_y-1\ ...\ \hat y_C\end{bmatrix}^T\cdot\frac{\partial f_c(x)}{\partial x}\\ &=[\hat y-t]\cdot\frac{\partial f_c(x)}{\partial x}\\ &=\delta\cdot\frac{\partial f_c(x)}{\partial x}\\ &=\sum^C_{c=1}\delta_cW_c^T\\ &=W^T\delta\in\mathbb{R}^{5d} \end{aligned} $$

    • 所以,

      • 对 $\triangledown_xJ=W^T\delta=\delta_{x_{window}}$, $x_{window}=[x_{museums}\ x_{in}\ x_{Paris}\ x_{are}\ x_{amazing}]$
      • 有 $\delta_{window}=\begin{bmatrix}\triangledown _{x_{museums}}\\\triangledown_{x_{in}}\\\triangledown _{x_{Paris}}\\\triangledown _{x_{are}}\\\triangledown _{x_{amazing}}\end{bmatrix}\in\mathbb{R}^{5d}$, $\triangledown_\theta J(\theta)=\begin{bmatrix}\triangledown _{W_{.1}}\\.\\.\\\triangledown_{W_{.d}}\\\triangledown_{x_{aardvark}}\\.\\.\\\triangledown_{x_{zebra}}\end{bmatrix}\in\mathbb{R}^{Cd+Vd}$
      • 这样就可以用梯度进行更新了
    • 其中矩阵计算$f=Wx$和指数运算代价最大。
  • 单独Softmax (= logistic regression) 的局限性

    • 在数据空间中,Softmax只给出了一个线性决策边界;
    • 只有较少数据下效果才能比较好,但对大量数据,仍是局限。

4. 神经网络

  • 神经网络相比softmax可以学习更加复杂的函数和非线性(nonlinear)的决策边界。

从逻辑回归到神经网络

  • 单个神经元:

    04-03.png

  • 每个神经元都是一个二分类逻辑回归单元(binary logistic regression unit):

    • $h_{w,b}(x)=f(w^T+b)$, $f(z)=\frac{1}{1+e^{-z}}$
    • $b$:偏差项;$W,b$:神经元的参数

04-04.png

  • 神经网络 = 同时运行多个逻辑回归

    • 将一组向量为给一组逻辑回归函数,然后得到一组向量输出。
    • 不是由我们提前决定这些逻辑回归函数具体要预测什么,而是由损失函数直接决定要得到什么结果。
    • 就有如下的多层网络:

04-05.png

  • 其中:

    • $a_1=f(W_{11}x_1+W_{12}x_2+W_{13}x_2+b_1)$
    • $a_2=f(W_{21}x_1+W_{22}x_2+W_{23}x_2+b_2)$
    • etc.
  • 用矩阵符号表示:$z=Wx+b$, $a=f(z)$
  • $f([z_1,z_2,z_3])=[f(z_1),f(z_2),f(z_3)]$

非线性函数(Non-linearities)

  • 如果不使用非线性函数,那么深度网络将等效于线性转换。
  • 使用非线性函数,是因为如果使用线性函数,那么所有层都等效为一层:$W_1W_2x=Wx$
  • 更多层,可以更好地拟合复杂的函数。

单层神经网络(Single Layer Neural Network)

  • 一个单层神经网络由一个线性层($z=wx+b$)和一个非线性($a=f(z)$)组成。
  • 其中,神经激活(neural activations)$a$可以用来计算一些输出。

    • 如,通过softmax计算可能性:$pyx=softmax(Wa)$
    • 或,非规范的分数(unnormalized score):$score(x)=U^Ta\in\mathbb{R}$
  • 前向传播网络(Feed-forward)

    • 计算一个三层的神经网络:$s=score($museums in Paris are amazing$)$

04-06.png

  • $U$:隐藏层到class的权值矩阵;$a$:激活函数

间隔最大损失函数(max-margin loss)

  • 得分:

    • 正确分类的得分:$s=score($museums in Paris are amazing$)$
    • 错误分类的得分:$s=score($Not all museums in Paris$)$
  • 训练想法:最大化正确得分,最小化错误得分。
  • 即最小化$J=\max(0,1-s+s_c)$

    • 损失函数连续的,使用随机梯度下降(SGD)求解
    • $s=U^Tf(Wx+b)$;$s_c=U^Tf(Wx_c+b)$
    • $+1$使得位于中心的词能够比不在中心的词得分高

5. 反向传播(Backpropagation)

  • $J=\max(0,1-s+s_c) $

    • $s=U^Tf(Wx+b)$
    • $s_c=U^Tf(Wx_c+b)$
  • 反向传播的推导

    • $\frac{\partial s}{\partial U}=\frac{\partial}{\partial U}U^Ta$, $\frac{\partial s}{\partial U}=a$
    • $\frac{\partial s}{\partial W}=\frac{\partial}{\partial W}U^Ta=\frac{\partial}{\partial W}U^Tf(z)=\frac{\partial}{\partial W}U^Tf(Wx+b)$
    • $W_{ij}$的导数:$\frac{\partial}{\partial W_{ij}}U^Ta\rightarrow \frac{\partial}{\partial W_{ij}}U_ia_i$

      $$ \begin{align} U_i\frac{\partial}{\partial W_{ij}}a_i &=U_i\frac{\partial a_i}{\partial z_i}\frac{\partial z_i}{\partial W_{ij}}\\ &=U_i\frac{\partial f(z_i)}{\partial z_i}\frac{\partial z_i}{\partial W_{ij}}\\ &=U_if'(z_i)\frac{\partial z_i}{\partial W_{ij}}\\ &=U_if'(z_i)\frac{\partial W_{i.}x+b_i}{\partial W_{ij}}\\ &=U_if'(z_i)\frac{\partial}{\partial W_{ij}}\sum_kW_{ik}x_k\\ &=U_if'(z_i)x_j\\ &=\delta_ix_j \end{align} $$

      • $\delta_i$: local error signal, $x_j$: local input signal
      • $f'(z)=f(z)(1-f(z))$ for logistic $f$
  • 用反向传播训练

    • 用更高层的计算梯度的结果来计算低层的梯度。
    • 推导:

      $$ \begin{align} \frac{\partial s}{\partial x_j} &=\sum^2_{i=1}\frac{\partial s}{\partial a_i}\frac{\partial a_i}{\partial x_j}\\ &=\sum^2_{i=1}\frac{\partial U^Ta}{\partial a_i}\frac{\partial a_i}{\partial x_j}\\ &=\sum^2_{i=1}U_i\frac{\partial f(W_{i.}x+b)}{\partial x_j}\\ &=\sum^2_{i=1}U_if'(W_{i.}x+b)\frac{\partial W_{i.}x}{\partial x_j}\\ &=\sum^2_{i=1}\delta_iW_{ij}\\ &=W_{.j}^T\delta \end{align} $$

    • 可以发现$\delta$(error message)到达隐藏层和这层的相同。
  • $U$的求导:

    • $\frac{\partial J}{\partial U}=1\{1-s+s_c>0\}(-f(Wx+b)+f(Wx_c+b))$
    • $\frac{\partial J}{\partial U}=1\{1-s+s_c>0\}(-a+a_c)$
关于反向传播,下一节还有更深入的讲解,所以这里的推导不清楚也不用慌张。

评论

暂无评论