第3课:梯度下降 Gradient Descent。

好,继续第 3 课:梯度下降 Gradient Descent。

这一课非常关键。你如果真正理解了梯度下降,后面再看反向传播、loss.backward()、优化器,就会容易很多。

1. 先回忆上一课

我们已经知道:

模型预测
↓
和真实答案比较
↓
得到 Loss

训练的目标就是:

让 Loss 越来越小

问题来了:

参数到底应该怎么改,才能让 Loss 变小?

这就是梯度下降要解决的问题。

2. 还是用最简单的模型

假设:

y = wx

有一条训练数据:

x = 10
真实 y = 20

所以理想情况应该是:

w = 2

因为:

10 × 2 = 20

假设现在:

w = 0.5

模型预测:

y = 10 × 0.5 = 5

Loss 使用平方误差:

Loss = (预测 - 真实)^2

所以:

Loss = (5 - 20)^2
     = 225

现在的问题是:

w = 0.5

应该变大,还是变小?

我们当然肉眼能看出来应该变大。

但计算机怎么知道?

答案就是:

梯度

3. 什么叫“梯度”

你可以先把梯度理解成:

Loss 对某个参数的变化方向和敏感程度。

先不看数学。

想象你站在山坡上:

        山顶
         *
       /   \
     /       \
   *           \
你              \___ 谷底

你的目标是:

走到最低点

那你应该先知道:

哪边是下坡

梯度就可以告诉你:

坡往哪个方向升高

那么你只需要:

反着梯度走

就会往低处走。

这就是为什么叫:

Gradient Descent
梯度下降

4. 看成一条曲线

我们把不同的 w 对应的 Loss 画出来:

Loss
 ^
 |
 |        *
 |      *   *
 |    *       *
 |  *           *
 |*------*-----------> w
        2

最低点在:

w = 2

如果现在:

w = 0.5

你在最低点左边。

这时候曲线的趋势是:

往右走 → Loss 下降

所以应该:

增加 w

如果你现在:

w = 3

在最低点右边。

这时候:

往左走 → Loss 下降

所以应该:

减小 w

5. 数学上怎么知道方向

这里开始接触一点点导数。

我们的模型:

y_pred = wx

Loss:

L = (wx - y)^2

这里:

L

是 Loss。

现在我们想知道:

如果 w 稍微变化一点,Loss 会怎么变化?

数学上写成:

dL/dw

读作:

Loss 对 w 的导数

或者:

Loss 关于 w 的梯度

6. 梯度的正负是什么意思

这个很重要。

如果:

dL/dw > 0

说明:

w 增大
→ Loss 增大

那么为了让 Loss 下降,就应该:

减小 w

反过来,如果:

dL/dw < 0

说明:

w 增大
→ Loss 减小

那就应该:

增大 w

所以更新规则是:

w_new = w_old - 学习率 × 梯度

这就是梯度下降最核心的公式。

7. 什么叫学习率

公式:

w_new = w_old - lr × gradient

这里:

lr

叫:

learning rate
学习率

它表示:

每次走多大一步

比如:

gradient = -10
lr = 0.01

那么:

w_new = w - 0.01 × (-10)

也就是:

w_new = w + 0.1

所以 w 增大了一点。

8. 学习率不能太大

假设山谷在这里:

        \      /
         \    /
          \__/

如果每一步走得太大:

左边
→→→→→
       谷底
            →→→→→

你可能一直跳过最低点。

甚至 Loss 越来越大。

所以学习率太大可能:

训练震荡
训练发散

9. 学习率也不能太小

如果:

lr = 0.000000001

那每一步都特别小:

.
 .
  .
   .

可能训练非常慢。

所以学习率其实是训练神经网络中非常重要的一个超参数。

以后你会经常看到:

optimizer = torch.optim.SGD(
    model.parameters(),
    lr=0.01
)

其中:

lr=0.01

就是学习率。

10. 用具体数字算一次

还是:

x = 10
y = 20

模型:

y_pred = wx

Loss:

L = (wx - y)^2

假设:

w = 0.5

那么:

y_pred = 0.5 × 10
       = 5

Loss:

L = (5 - 20)^2
  = 225

现在计算梯度:

L = (wx - y)^2

对 w 求导:

dL/dw = 2(wx - y)x

代进去:

= 2 × (0.5×10 - 20) × 10

也就是:

= 2 × (5 - 20) × 10
= -300

所以:

gradient = -300

是负数。

这意味着:

应该增加 w

假设:

lr = 0.001

那么:

w_new = 0.5 - 0.001 × (-300)

所以:

w_new = 0.8

看一下新的预测:

y_pred = 0.8 × 10
       = 8

新的 Loss:

(8 - 20)^2
= 144

之前:

225

现在:

144

Loss 下降了。

说明我们确实往正确方向走了。

11. 然后继续重复

再计算:

梯度
↓
更新 w
↓
重新预测
↓
重新计算 Loss

可能变成:

w = 0.5
Loss = 225

w = 0.8
Loss = 144

w = 1.04
Loss ≈ 92

w = 1.232
Loss ≈ 59

...

最后越来越接近:

w = 2
Loss = 0

这就是训练。

12. 如果参数很多怎么办

真实神经网络当然不会只有:

w

而是可能有:

w1
w2
w3
w4
...
b1
b2
b3
...

甚至几百万、几十亿个。

那就分别计算:

dL/dw1
dL/dw2
dL/dw3
...
dL/db1
dL/db2
...

每一个参数都有自己的梯度。

然后统一更新:

参数 = 参数 - 学习率 × 对应梯度

所以训练神经网络,本质上就是不断重复这个过程。

13. PyTorch 为什么强大

因为刚才这些:

求导
算每个参数梯度

如果手算会非常麻烦。

PyTorch 可以自动帮你做。

以后你只需要:

loss.backward()

PyTorch 就会自动计算:

每一个参数的梯度

然后:

optimizer.step()

负责执行:

参数 = 参数 - 学习率 × 梯度

所以你以后看到:

loss.backward()
optimizer.step()

应该马上翻译成:

计算梯度
↓
根据梯度更新参数

而不是把它当成两个神秘 API。

这一课真正要记住的 4 件事

第一:

梯度 = 参数变化时,Loss 怎么变化

第二:

梯度告诉我们往哪个方向修改参数

第三:

参数更新:

参数 = 参数 - 学习率 × 梯度

第四:

梯度下降 = 一步一步让 Loss 变小

下一课我们就进入另一个核心:反向传播 Backpropagation。

那一课我们要回答一个很关键的问题:

如果神经网络有很多层,最终 Loss 是怎么一路往回计算出每一层、每一个参数的梯度的?

理解它之后,你基本就把“神经网络是怎么学会东西的”这条主线打通了。

评论

暂无评论