第2课:损失函数——模型怎么知道自己错了多少

好,我们继续。

第 2 课:损失函数——模型怎么知道自己错了多少

上一课我们说到,训练的流程是:

输入数据
  ↓
模型预测
  ↓
和正确答案比较
  ↓
计算误差
  ↓
调整参数

这里的“计算误差”,就是:

Loss
损失

1. 先看最简单的情况

还是用房价预测。

假设真实房价是:

200

模型预测:

150

那最直接的误差就是:

200 - 150 = 50

但如果我们直接用:

真实值 - 预测值

会有一个问题。

如果预测成:

250

那么:

200 - 250 = -50

误差变成负数了。

这不方便表示“错得有多严重”。

所以常见方法是:

平方

也就是:

Loss = (预测值 - 真实值)^2

如果:

预测 = 150
真实 = 200

那么:

Loss = (150 - 200)^2
     = 2500

如果预测是:

190

那么:

Loss = (190 - 200)^2
     = 100

显然:

100 < 2500

说明 190 比 150 更接近正确答案。

所以:

Loss 越小,说明模型预测得越准。


2. Loss 的作用到底是什么

Loss 可以理解成一个“打分器”。

例如:

预测非常差 → Loss 很大
预测一般   → Loss 中等
预测很好   → Loss 很小

模型训练的最终目标,就是:

让 Loss 越来越小

所以深度学习训练,本质上可以理解成一个优化问题:

寻找一组参数
w、b

使:

Loss 最小

3. 一个完整例子

假设模型是:

y = wx

为了简单,先不考虑 b。

真实数据:

x = 10
真实 y = 20

所以理想情况下:

w = 2

因为:

10 × 2 = 20

但模型一开始不知道。

假设初始化:

w = 0.5

预测:

y = 10 × 0.5
  = 5

Loss:

Loss = (5 - 20)^2
     = 225

很大。

然后我们把 w 改成:

w = 1

预测:

10

Loss:

(10 - 20)^2
= 100

变小了。

再改:

w = 1.5

预测:

15

Loss:

25

继续变小。

再改:

w = 2

预测:

20

Loss:

0

所以训练过程就是:

不断修改 w
↓
观察 Loss
↓
让 Loss 越来越小

4. 可以把 Loss 想象成一座山

这是理解深度学习非常重要的一个图景。

假设不同的 w 对应不同 Loss:

Loss
 ^
 |
 |       *
 |     *   *
 |   *       *
 | *           *
 |------*----------> w
        2

当:

w = 2

时,Loss 最小。

所以训练的目标就是:

从山上某个位置
一路往低处走
最终走到谷底

这就是下一课要学的:

Gradient Descent
梯度下降

“梯度”其实就是告诉你:

哪边是下坡方向
坡有多陡

5. 为什么不直接试遍所有参数

你可能会想到:

那我把 w=0、1、2、3...
全试一遍不就行了吗?

简单模型确实可以。

但现实中的神经网络可能有:

100万参数
10亿参数
1000亿参数

如果每一个参数都尝试很多种可能:

组合数量会爆炸

完全不可能靠暴力搜索。

所以我们需要一种更聪明的方法:

根据 Loss 的变化趋势
判断参数应该往哪个方向改

这就是梯度。


6. Loss 不只有一种

刚才我们用的是:

(预测 - 真实)^2

这种叫:

MSE
Mean Squared Error
均方误差

它常用于:

回归问题

例如:

预测房价
预测温度
预测销量
预测股票某个数值

7. 分类问题怎么办

假设我们不是预测房价,而是判断:

图片是不是猫

模型输出可能是:

猫的概率 = 0.9

真实答案是:

猫

这时候一般不会用 MSE,而会使用:

Cross Entropy
交叉熵

以后你在 PyTorch 会经常看到:

nn.CrossEntropyLoss()

比如:

loss_fn = nn.CrossEntropyLoss()

先不用急着理解公式。

你现在只需要知道:

回归
→ 常用 MSE

分类
→ 常用 Cross Entropy

8. PyTorch 里以后会怎么写

未来你会看到这样的代码:

prediction = model(x)

loss = loss_fn(prediction, y)

这里:

prediction

是模型预测。

y

是真实答案。

然后:

loss

就是:

模型这一次错了多少

接下来最关键的一句:

loss.backward()

它会去计算:

每个参数应该往哪个方向修改

也就是计算梯度。


9. 一个非常重要的关系

现在把整个过程串起来:

模型参数
   ↓
预测
   ↓
Loss
   ↓
计算梯度
   ↓
修改参数
   ↓
新的预测
   ↓
新的 Loss

不断重复:

Loss 1000
↓
Loss 500
↓
Loss 200
↓
Loss 50
↓
Loss 10
↓
Loss 1

模型就越来越准。


这一课你真正需要掌握的

记住这三个核心结论就够了:

1. Loss 用来衡量模型错得有多严重

2. Loss 越小,通常说明模型越好

3. 训练的核心目标:
   调整参数,让 Loss 不断减小

你现在其实已经走到深度学习最关键的位置了。

下一课我们讲 梯度下降 Gradient Descent。

我会重点讲清楚一个问题:

模型有几百万个参数,它到底是怎么知道每个参数应该调大还是调小的?

等梯度下降理解之后,再学反向传播,你会发现整个神经网络训练过程就彻底连起来了。

评论

暂无评论