CS224N-2017-笔记:03 高级词向量表示
文章目录
CS224N-2017-笔记:03 高级词向量表示
课程官网:http://web.stanford.edu/class...CS224N:深度自然语言处理课程(Natural Language Processing with Deep Learning)
个人学习的视频来自B站上雷锋字幕组的翻译,在此感谢课程的分享、翻译人员。
“This is only a foretaste of what is to come, and only the shadow of what is going to be.” --Alan Mathison Turing
- Lecture3 先介绍了学习词向量的传统方法(基于全局矩阵分解、基于统计信息的方法),之后介绍了Glove方法。
1. word2vec回顾
word2vec主要观点
- 需要遍历整个语料库中的每个词;
- 预测每个词(窗口的中心词)的上下文:$p(o|c)=\frac{\exp(u_o^Tv_c)}{\sum^V_{w=1}\exp(u_wv_c)}$;
- 在每个窗口计算梯度,进行随机梯度下降。
- 核心:word2vec通过将相近词靠近来增大目标函数的值,抓住同时出现的词 (captures cooccurrence of words one at a time)
SGD更新的问题
- 问题:每个窗口中最多仅有$2m+1$个词,$\triangledown_\theta J_t(\theta)$十分稀疏($\triangledown_\theta J_t(\theta)\in\mathbb{R}^{2dV}$),所以每次实际只需要更新出现的少数词向量(即$W$中的少数列)。
-
解决方法:
- 每次只更新矩阵中的少数列;
- 或通过词到词向量的哈希映射进行更新。
负采样(Negative Smapling)
- 问题:$p(o|c)=\frac{\exp(u_o^Tv_c)}{\sum^v_{w=1}\exp(u_w^Tv_c)}$分母的求解过于复杂,开销很大。
- 解决方法:进行负采样,即对每个正例(中心词和上下文中的词)采样几个负例(中心词和随机词)进行训练,得到二元逻辑回归(binary logistic regressions,分类器)。
-
负采样:
- 目标函数:$J(\theta)=\frac{1}{T}\sum^T_{t=1}J_t(\theta)$
-
$J_t(\theta)=\log\sigma(u_o^Tv_c)+\sum^k_{i=1}\mathbb{E}_{j~P(w)}[\log\sigma(-u_j^Tv_c)]$
- $t$:单个窗口;
- $k$:负采样的个数;
- sigmoid函数:$\sigma(x)=\frac{1}{1+e^{-x}}$;
- 最大化中心词与上下文的关系,最小化与其他词的关系。
-
$P(w)=U(w)^{3/4}/Z$
- $U(w)$:一元模型分布(unigram distribution);
- $\frac{3}{4}$的指数使得较少出现的词更易被采样。
CBOW模型
- CBOW (Continuous Bag of Words):通过上下文词向量的和预测中心词。
2. 基于统计共现矩阵的方法
- word2vec捕获窗口中同时出现的词,同样也可以是直接获取全文中共同出现词的统计计数。
共现矩阵(co-occurrence matrix)简述
- 两种类型:基于全文 & 基于窗口
- 基于文档的共现矩阵会给出特定的主题进行潜在语义分析 (LSA, Latent Semantic Analysis),分析文档与词的关系。
- 基于窗口的共现矩阵和word2vec相似,捕捉语法和语义信息。
-
基于窗口的共现矩阵(Window based Co-occurence Matrix)的示例
- 窗口大小:1(一般是5~10)
- 对称的(与左右无关)
-
语料库:
- I like deep learning.
- I like NLP.
- I enjoy flying.
-
共现矩阵
counts I like enjoy deep learning NLP flying . I 0 2 1 0 0 0 0 0 like 2 0 0 1 0 1 0 0 enjoy 1 0 0 0 0 0 1 0 deep 0 1 0 0 1 0 0 0 learning 0 0 0 1 0 0 0 1 NLP 0 1 0 0 0 0 0 1 flying 0 0 1 0 0 0 0 1 . 0 0 0 0 1 1 1 0
朴素共现矩阵的问题
- 随着词量的增长,矩阵的规模变大;
- 维度过高,需要大量存储空间;
- 分类模型存在稀疏问题;
- 模型鲁棒性太差。
解决方法:降维
- 观点:用一个固定的、低维的稠密向量 (dense vector)存储绝大部分重要的信息。
- 方法:降维 (Dimensionality Reduction),如奇异值分解 SVD
-
进一步的改进:
- 限制高频词(如the, he, has等),使用停用词;
- 给距离中心词更近的词增加权重;
- 使用皮尔森相关系数替代词频,将负采样值设为0。
-
奇异值分解的缺陷
- 计算成本高:对$n\times m$的矩阵,复杂度为$O(mn^2)$
- 难以处理新的词汇和文档
- 与其他深度学习模型学习方法不同。
3. 两种方法的比较
- 基于统计计数和直接预测的模型比较
| 基于计数 (Count based) | 直接预测 (Direct Prediction) |
|---|---|
| LSA, HAL (Lund & Burgess), COALS (Rohde et al), Hellinger-PCA (Lebret & Collobert) |
NNLM, HLBL, RNN, Skip-gram/CBOW (Bengio et al; Collobert & Weston; Huang et al; Minh & Hinton; Mikolov et al; Min & Kavukcuoglu) |
| 训练更快; 有效地使用了统计信息 |
受语料库大小影响; 没能很好地使用统计信息 |
| 主要用于词的相似性; 无法扩展到大数量级的语料库 |
对其他任务也有好的性能; 可以获取词的相似性之外的复杂模式 |
4. 两种方法的结合:GloVe
-
目标函数:$J(\theta)=\frac{1}{2}\sum^W_{i,j=1}f(P_{ij})(u_i^Tv_j-\log P_{ij})^2$
-
$f$:$\max$函数,如
- $x\le a$,$f=\frac{1}{a} x$;
- $x>a$,$f=1$;
- $P_{ij}$:i, j同时出现的频次
-
-
优点:
- 训练更快;
- 能扩展到大的语料库;
- 在小规模的语料库和向量中也能表现良好。
-
两种向量:
- 对一个词有两个向量,最终只有一个最终向量,较好的方法:$X_{final}=U+V$
5. 评估词向量 (Evaluate Word Vectors)
两种评测方法
-
内部 (Intrinsic):对特定子任务(如单词类比)中产生的词向量进行的评估
- 用独立、具体的实验获取结果和模型比较(如人工标记);
- 计算速度快;
- 能帮助理解系统;
- 但除非和实际任务比较,不然不清楚是否有效。
-
外部 (Extrinsic):对实际任务中产生的词向量进行的评估
- 用外部实际任务评估;
- 耗时长来精确计算;
- 无法判断是哪一个子系统产生的问题,需要进一步进行内部任务评估;
- 当用一个子系统替换另一个子系统可以提高精确度时,则视为成功。
内部词向量评估
-
词向量类推 (Analogies)
- 即 a:b :: c:? (e.g. man:woman :: king:?)
- 可以计算距离:$d=\arg\max_i\frac{(x_b-x_a+x_c)^Tx_i}{||x_b-x_a+x_c||}$
- 计算词向量时,可以看它们的余弦距离是否能够反映直观的语义和类推。
关于内部评估和外部评估这一块,还是有一些小小的迷糊,另外如SVD和PCA等方法,之后还需要进一步做笔记。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论