CS224N-2017-笔记:02 词向量

CS224N-2017-笔记:02 词向量

课程官网:http://web.stanford.edu/class...

CS224N:深度自然语言处理课程(Natural Language Processing with Deep Learning)

个人学习的视频来自B站上雷锋字幕组的翻译,在此感谢课程的分享、翻译人员。

“Software Engineering is that part of Computer Science which is too difficult for the Computer Scientist.” --F. L. Bauer

  • Lecture2 主要介绍了词义的表示方法,主要包括Word2vec模型,包含Skip-gram方法、损失函数、梯度下降等内容。

1. 词义(Word Meaning)

  • 如何表示一个词的意思?

    • 语言学思考:符号(signifier,能指)、表示意思或事物的符号(signified idea or thing)、符号(denotation)
  • 如何在计算机中表示有用的词义?

    • 普遍方法:使用像WordNet词库那样的分类词典(texonomy)。
  • 离散表示(discrete representation)的问题:

    • 能很好地表示资源内容,却丢失了细节部分(missing nuance),如同义词的细节差异;
    • 丢失新的词汇,无法保持更新;
    • 过于主观化(subjective);
    • 需要大量人力来创建和更新;
    • 无法精确地计算词的相似程度;
    • 大部分基于规则和统计的自然语言处理工作将词作为原子符号(atomic symbols),使用独热表示,只是一种局部的表示。因为是基于符号表示开发的,所以不能得出词汇和模型之间的关联,每个词都是独立存在的(独热表示是相交的)。
  • 分布相似性(Distributional similarity)的表示

    • 核心观点:通过一个词的上下文来表示其意义(get a lot of values by representating a word by means of its neighbors)。
    • 通过向量(dense vector)来表示词义。
    • 神经网络词嵌入(word embedding)的基本思想:

      • 预测模型(​$w_t$表示中心词 center word):​$p(context|w_t)=...$
      • 损失函数(loss function,$w_{-t}$​表示除了$w_t$​外的上下文词):​​$J=1-p(w_{-t}|w_t)$
      • 通过不断调整词向量使损失函数最小化。
  • 直接学习低维词向量的研究:

    • Learning representations by back-propagating errors (Rumelhart et al., 1986)
    • A neural probabilistic language model (Bengio et al., 2003)
    • NLP (almost) from Scratch (Collobert & Weston, 2008)
    • A recent, even simpler and faster model: word2vec (Mikolov et al. 2013)

2. Word2vec介绍

  • Word2vec概要

    • 思想:通过每个词和其上下文进行预测。
    • 算法:

      • Skip-gram (SG):预测上下文
      • Continuous Bag of Words (CBOW):从一组上下文预测目标词
    • 训练方法:

      • Hierarchical softmax
      • Negative Sampling
  • Skip-gram预测

    ​ ​ ​ $p(w_{t-2}|w_t)$ $ w_t$ $p(w_{t+2}|w_t)$

    ... turning into banking cnises as ...

    output context words center word output context words

    m word window position t m word window

  • Word2vec细节

    • 对每个词,对其周围半径为$m$​的所有词预测其上下文词汇。
    • 目标函数(Loss function = Cost function = Objective function)

      • 最大化目标函数:​$J'(\theta)=\Pi^T_{t=1}\Pi_{-m\le j\le m, j\neq0}p(w_{t+j}|w_t;\theta)$
      • 最小化对数似然的相反数(Negative Log Likehood):​$J(\theta)=-\frac{1}{T}\sum^T_{t=1}\sum_{-m\le j\le m,j\neq 0}\log p(w_{t+j}|w_t)$
      • ​$\theta$表示所有需要优化的变量。
    • 概率分布的常用损失函数:交叉熵损失函数(cross-entropy loss)
    • 预测$p(w_{t+j}|w_t)$最初简单的方式softmax

      • ​$p(o|c)=\frac{\exp(u_o^Tv_c)}{\sum^v_{w=1}\exp(u_w^Tv_c)}$

        • $o$​表示某个输出词;
        • $c$​表示中心词;
        • $v_c,u_o$​分别表示中心词的词向量和上下文词向量。
      • softmax使用中心词$c$​预测词​$o$的可能性。
  • 数学知识

    • 点积 dot products

      • ​$u^Tv=u\cdot v=\sum^n_{i=1}u_iv_i$
      • 点积越大,向量越相似。
    • softmax函数:从$\mathbb{R}^V$​空间映射到概率分布,将数值转换为概率分布

      • ​$p_i=\frac{e^{u_i}}{\sum_je^{u_j}}$
      • 分子:指数函数,保证为正数;分母:归一化为概率。
  • Skip-gram
    02-01.png
  • 训练模型:梯度法

    • 向量:​$$\theta=\begin{bmatrix}v_{aardvark}\\v_a\\.\\.\\v_{zebra}\\u_{aaradvark}\\u_a\\.\\.\\u_{zebra}\end{bmatrix}\in \mathbb{R}^{2dV}$$
    • 每个词有两个向量,最终一个词向量(相加或拼接)

3. 梯度的推导

  • 不列出具体过程,只选择了核心部分,有兴趣可以自行推导或看课程学习。
  • ​$J(\theta)=-\frac{1}{T}\sum^T_{t=1}\sum_{-m\le j\le m,j\neq0}\log p(w_{t+j}|w_t)$
  • ​$\log p(o|c)=\log\frac{\exp(u_o^Tv_c)}{\sum^V_{w=1}\exp(u_w^Tv_c)}$
  • $$ \begin{aligned}\frac{\partial}{\partial v_c}\log\frac{\exp(u_o^Tv_c)}{\sum^V_{w=1}\exp(u_w^Tv_c)}&=\frac{\partial}{\partial v_c}\log\exp(u_o^Tv_c)-\frac{\partial}{\partial v_c}\log\sum_{w=1}^V\exp(u_w^Tv_c)\\&= u_o-\sum_{x=1}^V p(x|c)u_x\\&= observed - expected\end{aligned} $$

4. 损失/目标函数

  • 优化(最大化或最小化)目标函数,使用梯度下降。
  • 梯度下降(Gradient Descent)

    • 不断用参数减去梯度逼近($\alpha$​表示步数): ​$\theta^{new}_j=\theta^{old}_j-\alpha\frac{\partial}{\partial\theta^{old}_j}J(\theta)$
    • 矩阵符号表示:

      • ​$\theta^{new}=\theta^{old}-\alpha\frac{\partial}{\partial\theta^{old}}J(\theta)$
      • ​$\theta^{new}=\theta^{old}- \alpha\triangledown_{\theta}J(\theta)$
      • 随机梯度下降(Stochastic gradient descent, SGD)
while True:
    window = sample_window(corpus)
  theta_grad = evaluate_gradient(J,window,theta)
  theta = theta - alpha * theta_grad
Skip-gram的图画了好久,汗,to be continued...

评论

暂无评论