第3课:梯度下降 Gradient Descent。
文章目录
好,继续第 3 课:梯度下降 Gradient Descent。
这一课非常关键。你如果真正理解了梯度下降,后面再看反向传播、loss.backward()、优化器,就会容易很多。
1. 先回忆上一课
我们已经知道:
模型预测
↓
和真实答案比较
↓
得到 Loss
训练的目标就是:
让 Loss 越来越小
问题来了:
参数到底应该怎么改,才能让 Loss 变小?
这就是梯度下降要解决的问题。
2. 还是用最简单的模型
假设:
y = wx
有一条训练数据:
x = 10
真实 y = 20
所以理想情况应该是:
w = 2
因为:
10 × 2 = 20
假设现在:
w = 0.5
模型预测:
y = 10 × 0.5 = 5
Loss 使用平方误差:
Loss = (预测 - 真实)^2
所以:
Loss = (5 - 20)^2
= 225
现在的问题是:
w = 0.5
应该变大,还是变小?
我们当然肉眼能看出来应该变大。
但计算机怎么知道?
答案就是:
梯度
3. 什么叫“梯度”
你可以先把梯度理解成:
Loss 对某个参数的变化方向和敏感程度。
先不看数学。
想象你站在山坡上:
山顶
*
/ \
/ \
* \
你 \___ 谷底
你的目标是:
走到最低点
那你应该先知道:
哪边是下坡
梯度就可以告诉你:
坡往哪个方向升高
那么你只需要:
反着梯度走
就会往低处走。
这就是为什么叫:
Gradient Descent
梯度下降
4. 看成一条曲线
我们把不同的 w 对应的 Loss 画出来:
Loss
^
|
| *
| * *
| * *
| * *
|*------*-----------> w
2
最低点在:
w = 2
如果现在:
w = 0.5
你在最低点左边。
这时候曲线的趋势是:
往右走 → Loss 下降
所以应该:
增加 w
如果你现在:
w = 3
在最低点右边。
这时候:
往左走 → Loss 下降
所以应该:
减小 w
5. 数学上怎么知道方向
这里开始接触一点点导数。
我们的模型:
y_pred = wx
Loss:
L = (wx - y)^2
这里:
L
是 Loss。
现在我们想知道:
如果
w稍微变化一点,Loss 会怎么变化?
数学上写成:
dL/dw
读作:
Loss 对 w 的导数
或者:
Loss 关于 w 的梯度
6. 梯度的正负是什么意思
这个很重要。
如果:
dL/dw > 0
说明:
w 增大
→ Loss 增大
那么为了让 Loss 下降,就应该:
减小 w
反过来,如果:
dL/dw < 0
说明:
w 增大
→ Loss 减小
那就应该:
增大 w
所以更新规则是:
w_new = w_old - 学习率 × 梯度
这就是梯度下降最核心的公式。
7. 什么叫学习率
公式:
w_new = w_old - lr × gradient
这里:
lr
叫:
learning rate
学习率
它表示:
每次走多大一步
比如:
gradient = -10
lr = 0.01
那么:
w_new = w - 0.01 × (-10)
也就是:
w_new = w + 0.1
所以 w 增大了一点。
8. 学习率不能太大
假设山谷在这里:
\ /
\ /
\__/
如果每一步走得太大:
左边
→→→→→
谷底
→→→→→
你可能一直跳过最低点。
甚至 Loss 越来越大。
所以学习率太大可能:
训练震荡
训练发散
9. 学习率也不能太小
如果:
lr = 0.000000001
那每一步都特别小:
.
.
.
.
可能训练非常慢。
所以学习率其实是训练神经网络中非常重要的一个超参数。
以后你会经常看到:
optimizer = torch.optim.SGD(
model.parameters(),
lr=0.01
)
其中:
lr=0.01
就是学习率。
10. 用具体数字算一次
还是:
x = 10
y = 20
模型:
y_pred = wx
Loss:
L = (wx - y)^2
假设:
w = 0.5
那么:
y_pred = 0.5 × 10
= 5
Loss:
L = (5 - 20)^2
= 225
现在计算梯度:
L = (wx - y)^2
对 w 求导:
dL/dw = 2(wx - y)x
代进去:
= 2 × (0.5×10 - 20) × 10
也就是:
= 2 × (5 - 20) × 10
= -300
所以:
gradient = -300
是负数。
这意味着:
应该增加 w
假设:
lr = 0.001
那么:
w_new = 0.5 - 0.001 × (-300)
所以:
w_new = 0.8
看一下新的预测:
y_pred = 0.8 × 10
= 8
新的 Loss:
(8 - 20)^2
= 144
之前:
225
现在:
144
Loss 下降了。
说明我们确实往正确方向走了。
11. 然后继续重复
再计算:
梯度
↓
更新 w
↓
重新预测
↓
重新计算 Loss
可能变成:
w = 0.5
Loss = 225
w = 0.8
Loss = 144
w = 1.04
Loss ≈ 92
w = 1.232
Loss ≈ 59
...
最后越来越接近:
w = 2
Loss = 0
这就是训练。
12. 如果参数很多怎么办
真实神经网络当然不会只有:
w
而是可能有:
w1
w2
w3
w4
...
b1
b2
b3
...
甚至几百万、几十亿个。
那就分别计算:
dL/dw1
dL/dw2
dL/dw3
...
dL/db1
dL/db2
...
每一个参数都有自己的梯度。
然后统一更新:
参数 = 参数 - 学习率 × 对应梯度
所以训练神经网络,本质上就是不断重复这个过程。
13. PyTorch 为什么强大
因为刚才这些:
求导
算每个参数梯度
如果手算会非常麻烦。
PyTorch 可以自动帮你做。
以后你只需要:
loss.backward()
PyTorch 就会自动计算:
每一个参数的梯度
然后:
optimizer.step()
负责执行:
参数 = 参数 - 学习率 × 梯度
所以你以后看到:
loss.backward()
optimizer.step()
应该马上翻译成:
计算梯度
↓
根据梯度更新参数
而不是把它当成两个神秘 API。
这一课真正要记住的 4 件事
第一:
梯度 = 参数变化时,Loss 怎么变化
第二:
梯度告诉我们往哪个方向修改参数
第三:
参数更新:
参数 = 参数 - 学习率 × 梯度
第四:
梯度下降 = 一步一步让 Loss 变小
下一课我们就进入另一个核心:反向传播 Backpropagation。
那一课我们要回答一个很关键的问题:
如果神经网络有很多层,最终 Loss 是怎么一路往回计算出每一层、每一个参数的梯度的?
理解它之后,你基本就把“神经网络是怎么学会东西的”这条主线打通了。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论