Skip to content

Machine Learning › 可解釋性與診斷 › 模型診斷

模型診斷 (Model Diagnostics) ​

確認模型真的在學合理的訊號,而不是剛好在某個切分上得到好分數。模型表現異常地好或異常地差時,診斷通常比換演算法更重要。

三個層次 ​

層次檢查工具
資料欄位定義、缺失型態、分布、重複 / 近似重複列、train vs test 差異描述統計、adversarial validation
預測分數分布、殘差、混淆矩陣、校準殘差圖、PredictionErrorDisplay、CalibrationDisplay
切片不同群體、時間、地區、數值區間的誤差見 錯誤分析

迴歸診斷 ​

圖 / 檢查看什麼問題時
預測 vs 實際點是否貼近對角線高值區系統性低估 → 缺非線性項或目標需轉換
殘差 vs 預測值無結構、等寬漏斗形 = 異質變異;曲線 = 漏掉非線性
殘差分布是否有極端殘差離群值,見 離群值處理
影響點 (leverage / Cook's distance)少數點是否主導結果見統計筆記
依預測區間分組的誤差某區間特別差考慮分段或換模型
python
from sklearn.metrics import PredictionErrorDisplay

PredictionErrorDisplay.from_predictions(y_test, y_pred, kind="actual_vs_predicted")
PredictionErrorDisplay.from_predictions(y_test, y_pred, kind="residual_vs_predicted")

殘差圖的判讀型態、影響點與正式檢定見 模型假設與診斷。

分類診斷 ​

檢查筆記
混淆矩陣、各類別 recall混淆矩陣指標
不同閾值下的 precision / recall閾值與校準
機率校準校準
分數分布:兩類是否分得開、有沒有大量極端值ROC 與 AUC

資料診斷:train 與 test 長得一樣嗎? ​

Adversarial validation:訓練一個分類器去分辨「這筆來自 train 還是 test」。分得出來(AUC 明顯 > 0.5)代表兩者分布不同,驗證分數可能不代表上線表現;重要性最高的特徵就是偏移的來源。

python
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score, StratifiedKFold

X_adv = pd.concat([X_train, X_test])
y_adv = np.r_[np.zeros(len(X_train)), np.ones(len(X_test))]     # 0 = train, 1 = test
cross_val_score(RandomForestClassifier(random_state=0), X_adv, y_adv, scoring="roc_auc",
                cv=StratifiedKFold(5, shuffle=True, random_state=0)).mean()
# 乳癌資料隨機切分:0.46 ≈ 0.5 → 沒有偏移
# 依醫院 / 時間 / 批次切分時若 > 0.7 → 有明顯偏移
其他資料檢查說明
缺失型態train 與 test 的缺失率是否相近;缺失是否和目標有關
重複或近似重複列同一實體跨 train / test → 用分組切分
特徵隨時間漂移上線後持續監控,見 部署與監控

檢查順序 ​

text
1. 資料切分與 pipeline 正確嗎?(洩漏?)
2. 整體分數比 baseline 好多少?
3. 錯誤集中在哪些切片?
4. 最後才決定:改特徵、改閾值,還是換模型

常見警訊 ​

警訊先懷疑
測試分數高得不合理資料洩漏
整體平均不錯,但某少數群體很差樣本代表性不足,見 抽樣與代表性
高值區系統性低估、低值區系統性高估向平均回歸;模型太簡單或正則化太強
預測機率很極端,但實際 precision 不穩校準問題
驗證分數好、上線差分布偏移、上線時特徵拿不到或定義不同