Skip to content

Deep Learning › 基礎 › 損失函數

損失函數 (Loss Functions in PyTorch) ​

損失函數把「預測錯多少」變成一個可微分的數字,反向傳播 再依它的梯度更新權重。這篇講 PyTorch 的 API 與輸入格式;依任務選 loss、loss ↔ MLE、訓練損失 vs 評估指標見 ML:損失函數。

速查表 ​

任務LossPyTorch模型輸出標籤
多類別單選交叉熵 (cross-entropy)nn.CrossEntropyLoss()logits (N, K)類別索引 (N,),int64
二元 / 多標籤二元交叉熵 (BCE)nn.BCEWithLogitsLoss()logits (N,) 或 (N, K)0 / 1,float
迴歸均方誤差 (MSE)nn.MSELoss()實數實數
迴歸(有離群值)MAE / Hubernn.L1Loss()、nn.HuberLoss()實數實數
計數(reads、UMI)Poisson NLLnn.PoissonNLLLoss()log 率(預設 log_input=True)計數
分布對齊(VAE、蒸餾)KL 散度nn.KLDivLoss(reduction="batchmean")log 機率機率
分割Dice / BCE + Dice自訂或 MONAI每像素 logits遮罩

最常見的錯:CrossEntropyLoss 內部已經做 log_softmax,模型最後不要再接 nn.Softmax;BCEWithLogitsLoss 內含 sigmoid,比 Sigmoid + BCELoss 數值更穩定。疊兩次 softmax 不會報錯,但梯度變小、訓練變慢。

交叉熵 (Cross-Entropy) ​

L=−1N∑i=1Nlog⁡pi,yi,pi=softmax(zi)

只看正確類別的機率;正確類別機率越接近 1,loss 越接近 0。等於多項分布的負對數似然。

python
import torch
from torch import nn

logits = torch.tensor([[2.1, -1.4, 0.8],
                       [1.2,  0.3, 1.8]])
target = torch.tensor([0, 2])                       # 類別索引,不是 one-hot

nn.CrossEntropyLoss()(logits, target)               # tensor(0.4183)
nn.CrossEntropyLoss(reduction="none")(logits, target)   # tensor([0.2645, 0.5721])
logits.softmax(dim=1)
# [[0.7676, 0.0232, 0.2092],
#  [0.3097, 0.1259, 0.5644]]
樣本正確類別py−log⁡py
100.7680.264
220.5640.572
平均0.418

常用參數:

參數用途
weight=torch.tensor([...])類別加權,處理 類別不平衡
label_smoothing=0.1目標從 one-hot 改成 0.9 / 0.1 分攤,減少過度自信
ignore_index=-100跳過 padding token 或未標註像素
reduction="none"回傳每個樣本的 loss(自訂加權、找難樣本)

二元交叉熵 (BCE) ​

L=−1N∑i[yilog⁡pi+(1−yi)log⁡(1−pi)],pi=σ(zi)
python
logits = torch.tensor([2.2, -1.4, 1.4])
y = torch.tensor([1.0, 0.0, 1.0])                   # float
nn.BCEWithLogitsLoss()(logits, y)

# 正樣本稀少(如罕見變異致病):pos_weight = 負樣本數 / 正樣本數
nn.BCEWithLogitsLoss(pos_weight=torch.tensor([9.0]))

# 多標籤:一個樣本可同時屬於多類(如一個蛋白質有多個 GO term)
# logits (N, K)、y (N, K) 的 0/1 矩陣,每一欄各自是一個二元問題

迴歸損失 ​

python
pred = torch.tensor([2.5, 0.0, 2.0])
target = torch.tensor([3.0, -0.5, 2.0])
nn.MSELoss()(pred, target)       # tensor(0.1667)  (0.25 + 0.25 + 0) / 3
nn.L1Loss()(pred, target)        # tensor(0.3333)
nn.HuberLoss(delta=1.0)(pred, target)   # 誤差小時像 MSE、大時像 MAE

計數資料(RNA-seq reads、UMI)直接用 MSE 會被高表現基因主導;常見做法是預測 log1p 後的值,或像 scVI 一樣直接用負二項 (negative binomial) 似然當 loss——與 GLM 計數模型 是同一個觀念。

其他 ​

Loss說明
HingeSVM 用;PyTorch 有多類別版本 nn.MultiMarginLoss(),深度學習很少用
nn.CosineEmbeddingLoss、nn.TripletMarginLoss度量學習 (metric learning):讓相似樣本 embedding 靠近
Contrastive (InfoNCE)自監督預訓練(CLIP 等);通常寫成對相似度矩陣做 CrossEntropyLoss
多個 loss 加權相加多任務學習、VAE(重建 + KL);權重是超參數