CS224N-2017-笔记:02 词向量
文章目录
CS224N-2017-笔记:02 词向量
课程官网:http://web.stanford.edu/class...CS224N:深度自然语言处理课程(Natural Language Processing with Deep Learning)
个人学习的视频来自B站上雷锋字幕组的翻译,在此感谢课程的分享、翻译人员。
“Software Engineering is that part of Computer Science which is too difficult for the Computer Scientist.” --F. L. Bauer
- Lecture2 主要介绍了词义的表示方法,主要包括Word2vec模型,包含Skip-gram方法、损失函数、梯度下降等内容。
1. 词义(Word Meaning)
-
如何表示一个词的意思?
- 语言学思考:符号(signifier,能指)、表示意思或事物的符号(signified idea or thing)、符号(denotation)
-
如何在计算机中表示有用的词义?
- 普遍方法:使用像WordNet词库那样的分类词典(texonomy)。
-
离散表示(discrete representation)的问题:
- 能很好地表示资源内容,却丢失了细节部分(missing nuance),如同义词的细节差异;
- 丢失新的词汇,无法保持更新;
- 过于主观化(subjective);
- 需要大量人力来创建和更新;
- 无法精确地计算词的相似程度;
- 大部分基于规则和统计的自然语言处理工作将词作为原子符号(atomic symbols),使用独热表示,只是一种局部的表示。因为是基于符号表示开发的,所以不能得出词汇和模型之间的关联,每个词都是独立存在的(独热表示是相交的)。
-
分布相似性(Distributional similarity)的表示
- 核心观点:通过一个词的上下文来表示其意义(get a lot of values by representating a word by means of its neighbors)。
- 通过向量(dense vector)来表示词义。
-
神经网络词嵌入(word embedding)的基本思想:
- 预测模型($w_t$表示中心词 center word):$p(context|w_t)=...$
- 损失函数(loss function,$w_{-t}$表示除了$w_t$外的上下文词):$J=1-p(w_{-t}|w_t)$
- 通过不断调整词向量使损失函数最小化。
-
直接学习低维词向量的研究:
- Learning representations by back-propagating errors (Rumelhart et al., 1986)
- A neural probabilistic language model (Bengio et al., 2003)
- NLP (almost) from Scratch (Collobert & Weston, 2008)
- A recent, even simpler and faster model: word2vec (Mikolov et al. 2013)
2. Word2vec介绍
-
Word2vec概要
- 思想:通过每个词和其上下文进行预测。
-
算法:
- Skip-gram (SG):预测上下文
- Continuous Bag of Words (CBOW):从一组上下文预测目标词
-
训练方法:
- Hierarchical softmax
- Negative Sampling
-
Skip-gram预测
$p(w_{t-2}|w_t)$ $ w_t$ $p(w_{t+2}|w_t)$
... turning into banking cnises as ...
output context words center word output context words
m word window position t m word window
-
Word2vec细节
- 对每个词,对其周围半径为$m$的所有词预测其上下文词汇。
-
目标函数(Loss function = Cost function = Objective function)
- 最大化目标函数:$J'(\theta)=\Pi^T_{t=1}\Pi_{-m\le j\le m, j\neq0}p(w_{t+j}|w_t;\theta)$
- 最小化对数似然的相反数(Negative Log Likehood):$J(\theta)=-\frac{1}{T}\sum^T_{t=1}\sum_{-m\le j\le m,j\neq 0}\log p(w_{t+j}|w_t)$
- $\theta$表示所有需要优化的变量。
- 概率分布的常用损失函数:交叉熵损失函数(cross-entropy loss)
-
预测$p(w_{t+j}|w_t)$最初简单的方式softmax
-
$p(o|c)=\frac{\exp(u_o^Tv_c)}{\sum^v_{w=1}\exp(u_w^Tv_c)}$
- $o$表示某个输出词;
- $c$表示中心词;
- $v_c,u_o$分别表示中心词的词向量和上下文词向量。
- softmax使用中心词$c$预测词$o$的可能性。
-
-
数学知识
-
点积 dot products
- $u^Tv=u\cdot v=\sum^n_{i=1}u_iv_i$
- 点积越大,向量越相似。
-
softmax函数:从$\mathbb{R}^V$空间映射到概率分布,将数值转换为概率分布
- $p_i=\frac{e^{u_i}}{\sum_je^{u_j}}$
- 分子:指数函数,保证为正数;分母:归一化为概率。
-
-
Skip-gram
-
训练模型:梯度法
- 向量:$$\theta=\begin{bmatrix}v_{aardvark}\\v_a\\.\\.\\v_{zebra}\\u_{aaradvark}\\u_a\\.\\.\\u_{zebra}\end{bmatrix}\in \mathbb{R}^{2dV}$$
- 每个词有两个向量,最终一个词向量(相加或拼接)
3. 梯度的推导
- 不列出具体过程,只选择了核心部分,有兴趣可以自行推导或看课程学习。
- $J(\theta)=-\frac{1}{T}\sum^T_{t=1}\sum_{-m\le j\le m,j\neq0}\log p(w_{t+j}|w_t)$
- $\log p(o|c)=\log\frac{\exp(u_o^Tv_c)}{\sum^V_{w=1}\exp(u_w^Tv_c)}$
$$ \begin{aligned}\frac{\partial}{\partial v_c}\log\frac{\exp(u_o^Tv_c)}{\sum^V_{w=1}\exp(u_w^Tv_c)}&=\frac{\partial}{\partial v_c}\log\exp(u_o^Tv_c)-\frac{\partial}{\partial v_c}\log\sum_{w=1}^V\exp(u_w^Tv_c)\\&= u_o-\sum_{x=1}^V p(x|c)u_x\\&= observed - expected\end{aligned} $$
4. 损失/目标函数
- 优化(最大化或最小化)目标函数,使用梯度下降。
-
梯度下降(Gradient Descent)
- 不断用参数减去梯度逼近($\alpha$表示步数): $\theta^{new}_j=\theta^{old}_j-\alpha\frac{\partial}{\partial\theta^{old}_j}J(\theta)$
-
矩阵符号表示:
- $\theta^{new}=\theta^{old}-\alpha\frac{\partial}{\partial\theta^{old}}J(\theta)$
- $\theta^{new}=\theta^{old}- \alpha\triangledown_{\theta}J(\theta)$
- 随机梯度下降(Stochastic gradient descent, SGD)
while True:
window = sample_window(corpus)
theta_grad = evaluate_gradient(J,window,theta)
theta = theta - alpha * theta_grad
Skip-gram的图画了好久,汗,to be continued...
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论