吴恩达-神经网络和深度学习Chapter2-学习笔记
文章目录
1,二分分类

一张图片在计算机的存储方式为数字。假设有一张64×64像素大小的图片,那么它在计算机内会按照RGB的方式存储,即三张64×64的矩阵图,共包含64×64×3个数字(如图所示)。
计算机要处理的不止一张图片,而是很多图片;所以对于每张图片,算法会将这三个矩阵的数字,全部转移到一个向量中,这个向量的维数为64×64×3;而假设有m张图片,就代表有m个这样的向量;这些向量又可以组合成一个新的矩阵,即为输入。
也就是说,用列向量(而不是行向量)表示每张图片,最后得到一个X×M的矩阵(为了区分乘号和X,这里用大写字母)。其中,行数X表示一张图片的内容,即为一个维数为64×64×3的列向量;而列数M表示训练集的大小(有多少张图片)。
假设我们进行的是图片识别的任务(例如识别图中是否有猫),即最后的输出是“有/无”。用1表示有,用0表示无。那么最后可以得到一个维数为M的向量序列,分别对应输入矩阵中每张图片的输出。
逻辑回归
开始下一节前先来解释一下逻辑回归。提到逻辑回归我开始差点把它与线性回归混淆。例如高中时其实老师就在概率统计中提到过拟合(没记错的话似乎是方差那块,计算线性回归的系数a和截距b)。
这里把我个人能够接受并理解的解释列出:线性回归解决的是拟合问题,即找到一个函数,使样本点尽可能多在这条函数内或距离最近;而逻辑回归是用来寻找边界从而区分数据的,所以逻辑回归常用在二分类中。
“逻辑回归的原理是用逻辑函数把线性回归的结果(-∞,∞)映射到(0,1)”,来自文章逻辑回归(logistics regression)原理-让你彻底读懂逻辑回归
其他参考链接:
通俗理解:线性回归vs逻辑回归
线性回归(Linear Regression)和逻辑回归(Logistic Regression)
【机器学习】逻辑回归(非常详细)
2,逻辑回归


之前每次阅读相关文章时,都提到sigmoid函数不如ReLU,所以激活函数使用的是ReLU。不过对这些函数毫无概念,也对激活函数的作用不清不楚。
根据上面的例子,假设我们要做的是一个二分类,即判断图片中是否有猫。我们希望得到的输出是1或0。但实际情况是,我们计算出的并不是0、1,而是一个概率y ̂ :更进一步,是一个条件概率:在输入为图片\( x_i \)(实际上为一个64×64×3维向量)的情况下,输出为1(图片中有猫)的概率。
现在我们有一个逻辑回归中的参数W(同样为一个64×64×3维向量),同时有一个实数参数b,那么
。但这个结果可能并不准确,因为概率是在0~1之间,而我们得到的这个数可能为负,也可能很大,所以还要给结果套上上图中的sigmoid函数将结果限定在0到1中间(类似于数据处理中的归一化)。将原式中的\( w^T×x+b \)记作z。即
这里穿插一点我个人对于为什么使用sigmoid函数来归一的理解:首先,把
看作一个线性回归模型。在线性回归中,负值表示负相关,正值表示正相关,绝对值越大,相关性越强。所以同理,在这里,如果\( w^T×x+b \)得到的数越大,就说明这张图片越有可能是一张猫图。
在这一步基础上再归一,这里用的是sigmoid。我想有两个理由:一是,sigmoid是平滑的,二是当结果的绝对值无穷大时,其实这两个值得到的结果已经差别不大了,例如就像图中展示的,-1000000和-2000000映射后得到的对应的概率,差别不大,因为已经十分接近了。
所以逻辑回归的重点就是找到一个合适的向量w与实数b,使得最后的结果最好。
3,回归损失函数
损失函数:
在线性回归中,我们习惯计算得到的预测值y ̂ 与实际输入中对应的y的差的平方(或平方的1/2)
来评价函数的拟合情况(方差或标准差)。但在逻辑回归中,这种方式将不利于后面继续使用梯度下降法的计算(会出现非凸或局部最优解的情况)。
关于非凸:在数学中一个非凸的最优化问题是什么意思?
但是,我们仍然需要一个值去度量预测值与实际值之间的差距,从而评价算法的优劣。
这里的损失函数依然是,值越小,说明预测值与实际值之间的差距越小,即预测效果越好。
损失函数的来历:
再求对数。
成本函数

用来衡量全体训练样本的表现,即所有训练样本的损失函数和。
4,梯度下降法
实际上w可能为一个高维向量,为了更直观地理解绘图这里w和b都是实数。
符号“:=”表示更新
α表示学习率,用来控制每一次迭代或者梯度下降法中每一步的步长
表示函数J对W的导数(有时候可能直接用dw表示)
同理,
实际上w与b的计算不是导数,而是偏导数。
反向传播算法
正向计算代价函数J,反向计算J对每个参数的导数。
小结
代价/损失函数,用来衡量整个样本集的训练情况。
其中,
而我们需要计算的就是\( w^T \),即每个\( w_i \)。
因此需要计算
,使用梯度下降法求得最佳值。
向量化,简单来说就是使用矩阵计算。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论