从贝叶斯的角度看正则化

从贝叶斯的角度看正则化

这里又回到了之前介绍过的正则化。正则化是引入额外的条件来解决病态问题(输入的微小变化导致输出的巨大差异 )或防止过拟合的过程。

线性回归与最大似然的关系

我们回到线性回归的例子,输入空间$x \subseteq R^n$为n维向量的集合,输出空间为$y\subseteq R$,数据集$D=\{(x_1,y_1), (x_2,y_2),...,(x_N,y_N)\}$

$$y=w^Tx+\epsilon \tag{1}$$

w表示模型参数,$\epsilon$表示噪声,即模型误差,它是一个随机变量。非常自然的想法是$\epsilon$服从一个均值为0,方差为$\sigma^2$的正态分布(中心极限定理)。

$$\epsilon|\sigma^2 \sim N(\epsilon|0, \sigma^2)\tag{2}$$

即可以得到

$$P(x_n,y_n|w)=\frac{1}{\sigma\sqrt{2\pi}}exp(-\frac{1}{2\sigma^2}(y_n-w^Tx_n)^2)\tag{3}$$

由于每一对(x, y)都是独立同分布产生的,因此,可以使用极大似然估计将N个样本的噪声写成乘积形式

$$L=P(x,y|w)=\prod_{i=1}^N\frac{1}{\sigma\sqrt{2\pi}}exp(-\frac{1}{2\sigma^2}(y_i-w^Tx_i)^2)\tag{4}$$

将似然函数(4)写成对数形式

$$InL=NIn\frac{1}{\sigma\sqrt{2\pi}}-\sum_{i=1}^N\frac{(y_i-w^Tx_i)^2}{2\sigma^2}\tag{5}$$

最大化似然函数L即最小化损失函数

$$\hat{w}_{MLE}=argmin_w\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2\tag{6}$$

可以看出,线性回归的求解过程是通过最大化似然函数来实现的。

由(6)式可以得到L1正则化和L2正则化条件下的参数的最大似然估计

$$\hat{w}_{L1}=argmin_w(\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2+\lambda\sum_{i=1}^N|w_i|)\tag{7}$$

$$\hat{w}_{L2}=argmin_w(\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2+\lambda\sum_{i=1}^N|w_i|^2) \tag{8}$$

我们再回到最大后验概率(MAP),参数w的后验概率可以写成

$$\begin{split} Posterior&=\frac{Prior\cdot Likelihood}{evidence} \\ P(w|y)&=\frac{P(w)P(y|w)}{P(y)}\end{split}\tag{9}$$

参数w的MAP为

$$\begin{split}\hat{w}_{MAP} &= argmax_w\frac{P(w)P(y|w)}{P(y)} \\ &=argmax_wInP(y|w) + InP(w)\end{split}\tag{10}$$

由于上式求解过程与分母无关,可以直接去掉。对比MLE

$$\hat{w}_{MLE}=argmax_wInP(y|w)\tag{11}$$

MAP引入了先验。

正态分布先验

正态分布概率密度函数图像如下

Probability density function for the Normal distribtion]

假设先验P(w)属于0均值,方差为$\tau^2$的正态分布,则根据式(3)可以将式(10)写成:

$$\begin{split}& argmax_wIn\prod_{i=1}^N\frac{1}{\sigma\sqrt{2\pi}}exp(-\frac{1}{2\sigma^2}(y_i-w^Tx_i)^2)+In\prod_{j=1}^p\frac{1}{\tau\sqrt{2\pi}}exp(-\frac{w_j^2}{2\tau^2}) \\ &= argmax_w-\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2-\frac{1}{2\tau^2}\sum_{j=1}^pw_i^2 \\ &=argmin_w\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2+\frac{1}{2\tau^2}\sum_{j=1}^pw_i^2 \\ &=argmin_w\sum_{i=1}^N(y_i-w^Tx_i)^2+\lambda\sum_{j=1}^pw_i^2\end{split}\tag{12}$$

式中p为模型参数的个数(不包含$w_0$),第一项表示似然函数,对应于损失函数。第二项表示先验概率,对应于L2正则化项。先验分布的方差$\tau^2$越大,$\lambda$约小,对损失函数的惩罚越小;先验分布的方差$\tau^2$越小,$\lambda$约大,对损失函数的惩罚越大。L2正则化等价于引入高斯分布的最大后验概率。

Laplacean分布先验

Laplacean分布也称双指数分布,它的概率密度函数可以写成:

$$Laplacean(\mu, b)=\frac{1}{2b}exp(-\frac{|x-\mu|}{b})\tag{13}$$

Laplacean概率密度函数图像如下所示

拉普拉斯分布概率密度图

假设先验P(w)属于0均值的Laplacean分布,则根据式(3)可以将式(10)写成:

$$\begin{split}& argmax_wIn\prod_{i=1}^N\frac{1}{\sigma\sqrt{2\pi}}exp(-\frac{1}{2\sigma^2}(y_i-w^Tx_i)^2)+In\prod_{j=1}^p\frac{1}{2b}exp(-\frac{|w_j|}{b}) \\ &= argmax_w-\frac{1}{2\sigma^2}\sum_{i=1}^N(y_i-w^Tx_i)^2-\frac{1}{2b}\sum_{j=1}^p|w_i| \\ &=argmin_w\frac{1}{2\sigma^2}(\sum_{i=1}^N(y_i-w^Tx_i)^2+\frac{\sigma^2}{2b}\sum_{j=1}^p|w_i|) \\ &=argmin_w\sum_{i=1}^N(y_i-w^Tx_i)^2+\lambda\sum_{j=1}^p|w_i|\end{split}\tag{14}$$

式中p为模型参数的个数(不包含$w_0$),第一项表示似然函数,对应于损失函数。第二项表示先验概率,对应于L1正则化项。L1正则化等同于引入Laplacean分布的最大后验概率。

对比正态分布和Laplacean分布的图像,Laplacean分布在均值附近形成一个尖角,格外突出,两侧则比较平缓,L1正则化倾向于产生稀疏模型,L2正则对权值高的参数惩罚重。

总结

线性回归最小化损失函数等价于正态分布的极大似然估计,也可以说线性回归使用了极大似然估计对训练数据进行建模。

从贝叶斯的角度来看,正则化等价于似然函数引入先验(式10),L1正则化等价于引入正态分布的先验,L2正则化等价于引入Laplacean分布的先验。

Reference

Bayesian Interpretations of Regularization

A Probabilistic Interpretation of Regularization

从贝叶斯角度深入理解正则化

评论

暂无评论