从贝叶斯的角度看正则化
文章目录
从贝叶斯的角度看正则化
这里又回到了之前介绍过的正则化。正则化是引入额外的条件来解决病态问题(输入的微小变化导致输出的巨大差异 )或防止过拟合的过程。
线性回归与最大似然的关系
我们回到线性回归的例子,输入空间$x \subseteq R^n$为n维向量的集合,输出空间为$y\subseteq R$,数据集$D=\{(x_1,y_1), (x_2,y_2),...,(x_N,y_N)\}$
$$y=w^Tx+\epsilon \tag{1}$$
w表示模型参数,$\epsilon$表示噪声,即模型误差,它是一个随机变量。非常自然的想法是$\epsilon$服从一个均值为0,方差为$\sigma^2$的正态分布(中心极限定理)。
$$\epsilon|\sigma^2 \sim N(\epsilon|0, \sigma^2)\tag{2}$$
即可以得到
$$P(x_n,y_n|w)=\frac{1}{\sigma\sqrt{2\pi}}exp(-\frac{1}{2\sigma^2}(y_n-w^Tx_n)^2)\tag{3}$$
由于每一对(x, y)都是独立同分布产生的,因此,可以使用极大似然估计将N个样本的噪声写成乘积形式
$$L=P(x,y|w)=\prod_{i=1}^N\frac{1}{\sigma\sqrt{2\pi}}exp(-\frac{1}{2\sigma^2}(y_i-w^Tx_i)^2)\tag{4}$$
将似然函数(4)写成对数形式
$$InL=NIn\frac{1}{\sigma\sqrt{2\pi}}-\sum_{i=1}^N\frac{(y_i-w^Tx_i)^2}{2\sigma^2}\tag{5}$$
最大化似然函数L即最小化损失函数
$$\hat{w}_{MLE}=argmin_w\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2\tag{6}$$
可以看出,线性回归的求解过程是通过最大化似然函数来实现的。
由(6)式可以得到L1正则化和L2正则化条件下的参数的最大似然估计
$$\hat{w}_{L1}=argmin_w(\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2+\lambda\sum_{i=1}^N|w_i|)\tag{7}$$
$$\hat{w}_{L2}=argmin_w(\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2+\lambda\sum_{i=1}^N|w_i|^2) \tag{8}$$
我们再回到最大后验概率(MAP),参数w的后验概率可以写成
$$\begin{split} Posterior&=\frac{Prior\cdot Likelihood}{evidence} \\ P(w|y)&=\frac{P(w)P(y|w)}{P(y)}\end{split}\tag{9}$$
参数w的MAP为
$$\begin{split}\hat{w}_{MAP} &= argmax_w\frac{P(w)P(y|w)}{P(y)} \\ &=argmax_wInP(y|w) + InP(w)\end{split}\tag{10}$$
由于上式求解过程与分母无关,可以直接去掉。对比MLE
$$\hat{w}_{MLE}=argmax_wInP(y|w)\tag{11}$$
MAP引入了先验。
正态分布先验
正态分布概率密度函数图像如下
]
假设先验P(w)属于0均值,方差为$\tau^2$的正态分布,则根据式(3)可以将式(10)写成:
$$\begin{split}& argmax_wIn\prod_{i=1}^N\frac{1}{\sigma\sqrt{2\pi}}exp(-\frac{1}{2\sigma^2}(y_i-w^Tx_i)^2)+In\prod_{j=1}^p\frac{1}{\tau\sqrt{2\pi}}exp(-\frac{w_j^2}{2\tau^2}) \\ &= argmax_w-\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2-\frac{1}{2\tau^2}\sum_{j=1}^pw_i^2 \\ &=argmin_w\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2+\frac{1}{2\tau^2}\sum_{j=1}^pw_i^2 \\ &=argmin_w\sum_{i=1}^N(y_i-w^Tx_i)^2+\lambda\sum_{j=1}^pw_i^2\end{split}\tag{12}$$
式中p为模型参数的个数(不包含$w_0$),第一项表示似然函数,对应于损失函数。第二项表示先验概率,对应于L2正则化项。先验分布的方差$\tau^2$越大,$\lambda$约小,对损失函数的惩罚越小;先验分布的方差$\tau^2$越小,$\lambda$约大,对损失函数的惩罚越大。L2正则化等价于引入高斯分布的最大后验概率。
Laplacean分布先验
Laplacean分布也称双指数分布,它的概率密度函数可以写成:
$$Laplacean(\mu, b)=\frac{1}{2b}exp(-\frac{|x-\mu|}{b})\tag{13}$$
Laplacean概率密度函数图像如下所示

假设先验P(w)属于0均值的Laplacean分布,则根据式(3)可以将式(10)写成:
$$\begin{split}& argmax_wIn\prod_{i=1}^N\frac{1}{\sigma\sqrt{2\pi}}exp(-\frac{1}{2\sigma^2}(y_i-w^Tx_i)^2)+In\prod_{j=1}^p\frac{1}{2b}exp(-\frac{|w_j|}{b}) \\ &= argmax_w-\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2-\frac{1}{2b}\sum_{j=1}^p|w_i| \\ &=argmin_w\frac{1}{2\sigma^2}(\sum_{i=1}^N(y_i-w^Tx_i)^2+\frac{\sigma^2}{2b}\sum_{j=1}^p|w_i|) \\ &=argmin_w\sum_{i=1}^N(y_i-w^Tx_i)^2+\lambda\sum_{j=1}^p|w_i|\end{split}\tag{14}$$
式中p为模型参数的个数(不包含$w_0$),第一项表示似然函数,对应于损失函数。第二项表示先验概率,对应于L1正则化项。L1正则化等同于引入Laplacean分布的最大后验概率。
对比正态分布和Laplacean分布的图像,Laplacean分布在均值附近形成一个尖角,格外突出,两侧则比较平缓,L1正则化倾向于产生稀疏模型,L2正则对权值高的参数惩罚重。
总结
线性回归最小化损失函数等价于正态分布的极大似然估计,也可以说线性回归使用了极大似然估计对训练数据进行建模。
从贝叶斯的角度来看,正则化等价于似然函数引入先验(式10),L1正则化等价于引入正态分布的先验,L2正则化等价于引入Laplacean分布的先验。
Reference
Bayesian Interpretations of Regularization
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论