Skip to content

Deep Learning › 基礎 › 反向傳播與 Optimizer

反向傳播與 Optimizer (Backpropagation and Optimizers) ​

訓練 = 反覆「前向算 loss → 反向算梯度 → optimizer 更新參數」。反向傳播 (backpropagation) 用鏈鎖律有效率地算出 loss 對每個參數的梯度;optimizer 決定拿這個梯度怎麼走一步。

一步訓練 ​

text
forward:x → model → ŷ → loss(ŷ, y)
backward:loss.backward() → 每個參數的 .grad = ∂L/∂w
update:optimizer.step() → w ← w − η · ∂L/∂w(SGD 的情況)
清零:optimizer.zero_grad() → PyTorch 預設把梯度「累加」,每步要清掉
python
import torch
from torch import nn

model = nn.Sequential(nn.Linear(16, 8), nn.ReLU(), nn.Linear(8, 2))   # 最後輸出 logits
criterion = nn.CrossEntropyLoss()                                       # 內含 softmax,不要再接 nn.Softmax
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

x, y = torch.randn(4, 16), torch.tensor([1, 0, 1, 1])
loss = criterion(model(x), y)        # 1. forward
optimizer.zero_grad()                # 2. 清除上一步的梯度
loss.backward()                      # 3. 算梯度
optimizer.step()                     # 4. 更新
model[0].weight.grad.shape           # torch.Size([8, 16])  梯度與參數同 shape

完整的 epoch / validation 迴圈見 PyTorch 訓練迴圈。

鏈鎖律 ​

對 y^=f2(f1(x;w1);w2),

∂L∂w1=∂L∂y^⋅∂y^∂h1⋅∂h1∂w1
觀念說明
從輸出往回算後面層算好的梯度可重用,所以一次 backward 的成本約等於一次 forward
每層乘上局部導數激活函數導數長期 < 1 → 梯度消失;> 1 → 爆炸(見 激活函數)
需要存中間結果forward 的 activation 要留到 backward,所以訓練比推論吃記憶體;batch 越大越多
autograd 自動完成只要運算是 PyTorch 的 tensor 運算,就不必手寫導數

學習率 (Learning Rate) ​

w←w−η⋅∂L∂w

Learning rate comparison

學習率現象怎麼看出來
太小loss 緩慢下降,訓練很久曲線幾乎是直線
適中快速下降後趨平—
太大越過最低點來回震盪,最後發散、loss 變 NaNloss 上升或爆成 inf / nan

學習率是 DL 中最該先調的超參數。常見起點:Adam / AdamW 用 1e-3(從頭訓練)或 1e-5~5e-5(fine-tune 預訓練 Transformer);SGD + momentum 用 0.1~0.01。學習率在訓練中逐步調降(scheduler)見 訓練迴圈。

Optimizer ​

Optimizer更新規則(直覺)適合
SGD沿負梯度走固定步長教學;搭配 momentum 後在 CNN 常有最好的泛化
SGD + momentum累積過去梯度方向,像有慣性的球CNN 從頭訓練(momentum=0.9)
Adam每個參數有自己的步長(用梯度一階、二階動差估計)多數情況的預設,對學習率較不敏感
AdamWAdam + 正確實作的 weight decayTransformer、fine-tune 的預設
RMSprop只用二階動差RNN(舊)
python
torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
torch.optim.Adam(model.parameters(), lr=1e-3)
torch.optim.AdamW(model.parameters(), lr=3e-4, weight_decay=0.01)

# 不同層用不同學習率(fine-tune:預訓練骨幹小、新的分類頭大)
torch.optim.AdamW([
    {"params": backbone.parameters(), "lr": 1e-5},
    {"params": head.parameters(),     "lr": 1e-3},
])

Adam 的 weight_decay 等於加 L2 懲罰,但會被自適應步長縮放,效果不一致;要做 weight decay 就用 AdamW。兩者的關係見 正則化。

梯度問題排查 ​

症狀可能原因處理
loss 一開始就 NaN學習率太大、輸入有 NaN / inf、log(0)降學習率、檢查資料、用 BCEWithLogitsLoss 而非手寫 log
訓練中途 NaN梯度爆炸gradient clipping(下方)、降學習率、混合精度改 bf16
loss 完全不動忘了 optimizer.step()、參數被凍結、學習率太小、死 ReLU檢查 requires_grad、確認 optimizer 收到正確參數
loss 降很慢且不穩輸入沒標準化、初始化不當標準化特徵、初始化、加 normalization
python
loss.backward()
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)   # 在 step 之前
optimizer.step()

# 檢查哪些層梯度異常
for name, p in model.named_parameters():
    if p.grad is not None:
        print(name, p.grad.norm().item())

除錯第一步:拿 1 個小 batch 反覆訓練,模型應該能把 loss 壓到接近 0(overfit 一個 batch)。做不到代表模型、loss 或資料管線有 bug,不是資料不夠。