传统机器学习算法之支持向量机
文章目录
首先,支持向量机是一个二分类算法。对于一个线性可分的数据集,希望可以找到一个直线或者超平面对数据进行分类。
可以从数学上证明,当存在这样的一个直线或超平面,那么将会有无数个直线或超平面同时满足要求,所以我们需要找出那个最好的。怎么样定义最好呢?就是讲这个直线或超平面分别向两个方向进行平移,平移到它穿过某一个数据时为止,这样可以得到两个新的直线或超平面,且这三个是平行的。我们定义这两个新的平面直间的距离为$d$,即衡量直线或超平面好坏的标准。那新的问题就出现了,这两个超平面之间一定有无数个平行超平面,且他们的距离$d$都是一样的。当出现这样的情况时就取两个平面中间的平面。
$\Gamma$、$\iota$、$\sigma$、$\phi$、$\upsilon$、$\Pi$、$\Bbbk$、$\heartsuit$、$\int$、$\oint$
数学描述
要想进行数学描述那么一定需要一些定义。
$d$:定义为间隔(margin),因此支持向量机就是一个最大化margin的算法。
将平行线插到的想象成为支持向量(support vector)。可以看出,支持向量机中得到所需超平面的方法只跟支持向量有关,这也是为什么它可以用在小样本的训练上。
定义训练数据和标签:
训练数据及标签($X_1$,$y_1$)、($X_2$,$y_2$)、($X_N$,$y_N$)
$X_i$是向量,比如二维的就是[$x_1$,$x_2$],$y_i$是标签,只能等于+1或-1(只能两个类),因为这样推导比较方便。
(线性模型)要做的是什么呢?找到那个最好的超平面,它的参数为
($W,b$),这个超平面的方程为$W^TX+b=0$
这也是机器学习算法常用的方式,假设模型有一些限定条件(线性),并且有一些待定参数($W,b$),通过训练的数据在这个模型的限定下求出参数。
用一个方程(函数)限定一个模型,在模型里面留一个待定的参数,再用算法取确定参数的取值,确定之后学习就完成了。
接下来定义线性可分:
用一种更简单的方法:$y_i[W^TX_i+b]\geq0$
下一步就可以讨论支持向量机所做的事情
先放结论:
图片
如果是第一次学的时候肯定是蒙的,为什么最大化margin变成了最小化$W$?看起来没啥关系。下面慢慢推导。
事实1:$W^TX+b=0$和$aW^TX+ab=0$是同一个平面(a是正实数)
因为$(W,b)$满足公式,那$(aW,ab)$也满足
事实2:点到直线或平面的距离公式
eg:$(x_0,y_0)$到平面:$w_1x+w_2y+b=0$的距离为:
$$d=\frac{|w_1x_0+w_2y_0+b|}{\sqrt{w_1^2+w_2^2}}$$
从二维推广一下
$$d=\frac{|W^TX_0+b|}{||W||}$$
要让$d$最大
最难理解的一件事情:我们可以利用$a$去缩放($W,b$)-->($aW,ab$)
最终使在支持向量$X_0$上有:
$$|W^TX_0+b|=1$$
一旦如此,此时支持向量与平面的距离就变成了:
$$d=\frac{1}{||W||}$$
要想最大化距离$d$,那就可以最小化$||W||$,约束条件为:
$$y_i[W^TX_i+b]\geq1$$
因为$$W^TX_i+b\geq1$$且$$y_i=1或-1$$
这是一个凸优化问题,可以找到全局最优解
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论