第2课:损失函数——模型怎么知道自己错了多少
文章目录
好,我们继续。
第 2 课:损失函数——模型怎么知道自己错了多少
上一课我们说到,训练的流程是:
输入数据
↓
模型预测
↓
和正确答案比较
↓
计算误差
↓
调整参数
这里的“计算误差”,就是:
Loss
损失
1. 先看最简单的情况
还是用房价预测。
假设真实房价是:
200
模型预测:
150
那最直接的误差就是:
200 - 150 = 50
但如果我们直接用:
真实值 - 预测值
会有一个问题。
如果预测成:
250
那么:
200 - 250 = -50
误差变成负数了。
这不方便表示“错得有多严重”。
所以常见方法是:
平方
也就是:
Loss = (预测值 - 真实值)^2
如果:
预测 = 150
真实 = 200
那么:
Loss = (150 - 200)^2
= 2500
如果预测是:
190
那么:
Loss = (190 - 200)^2
= 100
显然:
100 < 2500
说明 190 比 150 更接近正确答案。
所以:
Loss 越小,说明模型预测得越准。
2. Loss 的作用到底是什么
Loss 可以理解成一个“打分器”。
例如:
预测非常差 → Loss 很大
预测一般 → Loss 中等
预测很好 → Loss 很小
模型训练的最终目标,就是:
让 Loss 越来越小
所以深度学习训练,本质上可以理解成一个优化问题:
寻找一组参数
w、b
使:
Loss 最小
3. 一个完整例子
假设模型是:
y = wx
为了简单,先不考虑 b。
真实数据:
x = 10
真实 y = 20
所以理想情况下:
w = 2
因为:
10 × 2 = 20
但模型一开始不知道。
假设初始化:
w = 0.5
预测:
y = 10 × 0.5
= 5
Loss:
Loss = (5 - 20)^2
= 225
很大。
然后我们把 w 改成:
w = 1
预测:
10
Loss:
(10 - 20)^2
= 100
变小了。
再改:
w = 1.5
预测:
15
Loss:
25
继续变小。
再改:
w = 2
预测:
20
Loss:
0
所以训练过程就是:
不断修改 w
↓
观察 Loss
↓
让 Loss 越来越小
4. 可以把 Loss 想象成一座山
这是理解深度学习非常重要的一个图景。
假设不同的 w 对应不同 Loss:
Loss
^
|
| *
| * *
| * *
| * *
|------*----------> w
2
当:
w = 2
时,Loss 最小。
所以训练的目标就是:
从山上某个位置
一路往低处走
最终走到谷底
这就是下一课要学的:
Gradient Descent
梯度下降
“梯度”其实就是告诉你:
哪边是下坡方向
坡有多陡
5. 为什么不直接试遍所有参数
你可能会想到:
那我把 w=0、1、2、3...
全试一遍不就行了吗?
简单模型确实可以。
但现实中的神经网络可能有:
100万参数
10亿参数
1000亿参数
如果每一个参数都尝试很多种可能:
组合数量会爆炸
完全不可能靠暴力搜索。
所以我们需要一种更聪明的方法:
根据 Loss 的变化趋势
判断参数应该往哪个方向改
这就是梯度。
6. Loss 不只有一种
刚才我们用的是:
(预测 - 真实)^2
这种叫:
MSE
Mean Squared Error
均方误差
它常用于:
回归问题
例如:
预测房价
预测温度
预测销量
预测股票某个数值
7. 分类问题怎么办
假设我们不是预测房价,而是判断:
图片是不是猫
模型输出可能是:
猫的概率 = 0.9
真实答案是:
猫
这时候一般不会用 MSE,而会使用:
Cross Entropy
交叉熵
以后你在 PyTorch 会经常看到:
nn.CrossEntropyLoss()
比如:
loss_fn = nn.CrossEntropyLoss()
先不用急着理解公式。
你现在只需要知道:
回归
→ 常用 MSE
分类
→ 常用 Cross Entropy
8. PyTorch 里以后会怎么写
未来你会看到这样的代码:
prediction = model(x)
loss = loss_fn(prediction, y)
这里:
prediction
是模型预测。
y
是真实答案。
然后:
loss
就是:
模型这一次错了多少
接下来最关键的一句:
loss.backward()
它会去计算:
每个参数应该往哪个方向修改
也就是计算梯度。
9. 一个非常重要的关系
现在把整个过程串起来:
模型参数
↓
预测
↓
Loss
↓
计算梯度
↓
修改参数
↓
新的预测
↓
新的 Loss
不断重复:
Loss 1000
↓
Loss 500
↓
Loss 200
↓
Loss 50
↓
Loss 10
↓
Loss 1
模型就越来越准。
这一课你真正需要掌握的
记住这三个核心结论就够了:
1. Loss 用来衡量模型错得有多严重
2. Loss 越小,通常说明模型越好
3. 训练的核心目标:
调整参数,让 Loss 不断减小
你现在其实已经走到深度学习最关键的位置了。
下一课我们讲 梯度下降 Gradient Descent。
我会重点讲清楚一个问题:
模型有几百万个参数,它到底是怎么知道每个参数应该调大还是调小的?
等梯度下降理解之后,再学反向传播,你会发现整个神经网络训练过程就彻底连起来了。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论