Skip to content

Machine Learning › 基礎概念 › 損失函數

損失函數 (Loss Functions) ​

損失函數衡量預測錯得多嚴重;「訓練」就是找讓損失最小的參數。這篇談依任務選損失,以及訓練損失與評估指標的差別;PyTorch 實作與反向傳播見 Deep Learning: Loss Functions。

常見損失 ​

任務損失公式(單筆)特性
迴歸均方誤差 (MSE)(y−y^)2大誤差懲罰最重;對離群值敏感;預測的是條件平均
迴歸平均絕對誤差 (MAE)|y−y^|對離群值穩健;預測的是條件中位數
迴歸Huber誤差小時像 MSE、大時像 MAE兩者折衷,δ 決定切換點
迴歸Quantile (pinball)依分位數 τ 不對稱懲罰預測區間、上下界
計數迴歸Poisson deviance對應 Poisson 概似非負計數(read count、事件數)
分類對數損失 / 交叉熵 (log loss, cross-entropy)−[ylog⁡p+(1−y)log⁡(1−p)]懲罰「很有信心卻錯」;要好的機率時用
分類Hingemax(0, 1−y⋅f(x)),y∈{−1,1}SVM;只在乎是否超過邊界 (margin)
分類0-1 loss錯 = 1、對 = 0就是 1 − accuracy;不可微,無法直接最佳化

Loss function shapes

左:殘差越大,MSE 的懲罰成平方成長,所以少數離群值就能把模型拉走。右:hinge 與 log loss 都是 0-1 loss 的平滑上界 (surrogate);log loss 即使分類正確也還會繼續推高信心,hinge 超過 margin 後就不再在乎。

python
from sklearn.metrics import mean_squared_error, mean_absolute_error, log_loss

mean_squared_error([3, -0.5, 2, 7], [2.5, 0, 2, 8])     # 0.375
mean_absolute_error([3, -0.5, 2, 7], [2.5, 0, 2, 8])    # 0.5
log_loss([0, 1, 1, 0], [0.1, 0.9, 0.8, 0.35])           # 0.216

# 在模型中指定損失
from sklearn.linear_model import SGDClassifier, HuberRegressor
from sklearn.ensemble import HistGradientBoostingRegressor

SGDClassifier(loss="hinge")                       # 線性 SVM
SGDClassifier(loss="log_loss")                    # 邏輯斯迴歸
HuberRegressor(epsilon=1.35)                      # 穩健迴歸
HistGradientBoostingRegressor(loss="poisson")     # 計數目標

損失 ↔ 最大概似 (MLE) ​

大多數常見損失就是某個分配假設下的負 log-likelihood,這也是統計與 ML 的交會點:

損失等價的機率模型
MSEy 服從常態分配(等變異)→ 最小平方法
MAEy 服從 Laplace 分配
Log lossy 服從 Bernoulli → 邏輯斯迴歸
Poisson deviancey 服從 Poisson → Poisson GLM
損失 + L2 / L1 懲罰再加上常態 / Laplace 先驗的 MAP 估計,見 正則化

推導見 最大概似估計。

怎麼選 ​

需求選擇
大誤差代價特別高MSE
資料有離群值或重尾MAE、Huber
要預測區間或風險上界Quantile loss
目標是計數或非負且右偏Poisson / Gamma deviance
需要校準良好的機率Log loss
只需要分類邊界Hinge

訓練損失 ≠ 評估指標 ​

訓練損失 (training loss)評估指標 (evaluation metric)
用途配適時被最佳化判斷模型是否有用、比較模型
要求通常要可微、好最佳化要貼近真實目標
例子Log lossROC-AUC、F1、成本、臨床效益

除非確認過,不要假設模型在最佳化你在乎的那個指標。一個模型可能用 log loss 訓練、用 AUC 挑選,最後卻以業務或臨床影響來判斷好壞;三者不一致時,常靠 調閾值 銜接。