CS224N-2017-笔记:03 高级词向量表示

CS224N-2017-笔记:03 高级词向量表示

课程官网:http://web.stanford.edu/class...

CS224N:深度自然语言处理课程(Natural Language Processing with Deep Learning)

个人学习的视频来自B站上雷锋字幕组的翻译,在此感谢课程的分享、翻译人员。

“This is only a foretaste of what is to come, and only the shadow of what is going to be.” --Alan Mathison Turing
  • Lecture3 先介绍了学习词向量的传统方法(基于全局矩阵分解、基于统计信息的方法),之后介绍了Glove方法。

1. word2vec回顾

word2vec主要观点

  • 需要遍历整个语料库中的每个词;
  • 预测每个词(窗口的中心词)的上下文:$p(o|c)=\frac{\exp(u_o^Tv_c)}{\sum^V_{w=1}\exp(u_wv_c)}$;
  • 在每个窗口计算梯度,进行随机梯度下降。
  • 核心:word2vec通过将相近词靠近来增大目标函数的值,抓住同时出现的词 (captures cooccurrence of words one at a time)

SGD更新的问题

  • 问题:每个窗口中最多仅有$2m+1$个词,$\triangledown_\theta J_t(\theta)$十分稀疏($\triangledown_\theta J_t(\theta)\in\mathbb{R}^{2dV}$),所以每次实际只需要更新出现的少数词向量(即$W$中的少数列)。
  • 解决方法:

    • 每次只更新矩阵中的少数列;
    • 或通过词到词向量的哈希映射进行更新。

负采样(Negative Smapling)

  • 问题:$p(o|c)=\frac{\exp(u_o^Tv_c)}{\sum^v_{w=1}\exp(u_w^Tv_c)}$分母的求解过于复杂,开销很大。
  • 解决方法:进行负采样,即对每个正例(中心词和上下文中的词)采样几个负例(中心词和随机词)进行训练,得到二元逻辑回归(binary logistic regressions,分类器)。
  • 负采样:

    • 目标函数:$J(\theta)=\frac{1}{T}\sum^T_{t=1}J_t(\theta)$
    • $J_t(\theta)=\log\sigma(u_o^Tv_c)+\sum^k_{i=1}\mathbb{E}_{j~P(w)}[\log\sigma(-u_j^Tv_c)]$

      • $t$:单个窗口;
      • $k$:负采样的个数;
      • sigmoid函数:$\sigma(x)=\frac{1}{1+e^{-x}}$;
      • 最大化中心词与上下文的关系,最小化与其他词的关系。
    • $P(w)=U(w)^{3/4}/Z$

      • $U(w)$:一元模型分布(unigram distribution);
      • $\frac{3}{4}$的指数使得较少出现的词更易被采样。

CBOW模型

  • CBOW (Continuous Bag of Words):通过上下文词向量的和预测中心词。

2. 基于统计共现矩阵的方法

  • word2vec捕获窗口中同时出现的词,同样也可以是直接获取全文中共同出现词的统计计数。

共现矩阵(co-occurrence matrix)简述

  • 两种类型:基于全文 & 基于窗口
  • 基于文档的共现矩阵会给出特定的主题进行潜在语义分析 (LSA, Latent Semantic Analysis),分析文档与词的关系。
  • 基于窗口的共现矩阵和word2vec相似,捕捉语法和语义信息。
  • 基于窗口的共现矩阵(Window based Co-occurence Matrix)的示例

    • 窗口大小:1(一般是5~10)
    • 对称的(与左右无关)
    • 语料库:

      • I like deep learning.
      • I like NLP.
      • I enjoy flying.
    • 共现矩阵

      counts I like enjoy deep learning NLP flying .
      I 0 2 1 0 0 0 0 0
      like 2 0 0 1 0 1 0 0
      enjoy 1 0 0 0 0 0 1 0
      deep 0 1 0 0 1 0 0 0
      learning 0 0 0 1 0 0 0 1
      NLP 0 1 0 0 0 0 0 1
      flying 0 0 1 0 0 0 0 1
      . 0 0 0 0 1 1 1 0

朴素共现矩阵的问题

  • 随着词量的增长,矩阵的规模变大;
  • 维度过高,需要大量存储空间;
  • 分类模型存在稀疏问题;
  • 模型鲁棒性太差。

解决方法:降维

  • 观点:用一个固定的、低维的稠密向量 (dense vector)存储绝大部分重要的信息。
  • 方法:降维 (Dimensionality Reduction),如奇异值分解 SVD
  • 进一步的改进:

    • 限制高频词(如the, he, has等),使用停用词;
    • 给距离中心词更近的词增加权重;
    • 使用皮尔森相关系数替代词频,将负采样值设为0。
  • 奇异值分解的缺陷

    • 计算成本高:对$n\times m$的矩阵,复杂度为$O(mn^2)$
    • 难以处理新的词汇和文档
    • 与其他深度学习模型学习方法不同。

3. 两种方法的比较

  • 基于统计计数和直接预测的模型比较
基于计数 (Count based) 直接预测 (Direct Prediction)
LSA, HAL (Lund & Burgess),
COALS (Rohde et al),
Hellinger-PCA (Lebret & Collobert)
NNLM, HLBL, RNN, Skip-gram/CBOW
(Bengio et al; Collobert & Weston; Huang et al; Minh & Hinton; Mikolov et al; Min & Kavukcuoglu)
训练更快;
有效地使用了统计信息
受语料库大小影响;
没能很好地使用统计信息
主要用于词的相似性;
无法扩展到大数量级的语料库
对其他任务也有好的性能;
可以获取词的相似性之外的复杂模式

4. 两种方法的结合:GloVe

  • 目标函数:$J(\theta)=\frac{1}{2}\sum^W_{i,j=1}f(P_{ij})(u_i^Tv_j-\log P_{ij})^2$

    • $f$:$\max$函数,如

      • $x\le a$,$f=\frac{1}{a} x$;
      • $x>a$,$f=1$;
    • $P_{ij}$:i, j同时出现的频次
  • 优点:

    • 训练更快;
    • 能扩展到大的语料库;
    • 在小规模的语料库和向量中也能表现良好。
  • 两种向量:

    • 对一个词有两个向量,最终只有一个最终向量,较好的方法:$X_{final}=U+V$

5. 评估词向量 (Evaluate Word Vectors)

两种评测方法

  • 内部 (Intrinsic):对特定子任务(如单词类比)中产生的词向量进行的评估

    • 用独立、具体的实验获取结果和模型比较(如人工标记);
    • 计算速度快;
    • 能帮助理解系统;
    • 但除非和实际任务比较,不然不清楚是否有效。
  • 外部 (Extrinsic):对实际任务中产生的词向量进行的评估

    • 用外部实际任务评估;
    • 耗时长来精确计算;
    • 无法判断是哪一个子系统产生的问题,需要进一步进行内部任务评估;
    • 当用一个子系统替换另一个子系统可以提高精确度时,则视为成功。

内部词向量评估

  • 词向量类推 (Analogies)

    • 即 a:b :: c:? (e.g. man:woman :: king:?)
    • 可以计算距离:$d=\arg\max_i\frac{(x_b-x_a+x_c)^Tx_i}{||x_b-x_a+x_c||}$
  • 计算词向量时,可以看它们的余弦距离是否能够反映直观的语义和类推。
关于内部评估和外部评估这一块,还是有一些小小的迷糊,另外如SVD和PCA等方法,之后还需要进一步做笔记。

评论

暂无评论