Skip to content

Machine Learning › 模型評估

模型評估 (Evaluation) ​

評估是最容易產生錯覺的地方:分數高不代表能在真實世界用。要確認指標選對、驗證方式合理、知道模型錯在哪,還要知道分數本身有多不確定。評估設計要讓驗證流程反映你真正要做的決策,並在比較模型之前定好,不是之後。

先想清楚的問題 ​

問題決定
這是排序、機率估計,還是二元決策問題?看 AUC / gains、校準,還是固定閾值下的混淆矩陣
錯誤成本對稱嗎?(漏診 vs 誤報)指標與 閾值
驗證資料是否模擬了上線情境?時間、分組、來源的切法,見 切分策略
哪些子群最重要?是否需要分層報告、公平性檢查
只能處理前 k% 嗎?(篩檢名額、行銷預算)用 Gains / Lift、precision@k
離線分數與真實結果相關嗎?是否需要 A/B 測試或前瞻性驗證

生醫情境下,「AUC 0.85」本身沒有意義;要問的是在臨床可接受的偽陽性率下抓到多少病人、和現行做法相比改善多少。

建議順序 ​

text
Baseline → 迴歸指標 / 混淆矩陣 → ROC-AUC → 閾值與校準 → 類別不平衡 → Gains / Lift → 指標的不確定性

筆記 ​

筆記內容回答的問題
Baseline 與錯誤分析Dummy 模型、錯誤切片模型比「什麼都不學」好多少?錯在哪?
迴歸指標MSE、RMSE、MAE、R²、MAPE連續預測差多少?
混淆矩陣指標Precision、recall、specificity、F1、MCC分類錯成什麼樣子?
ROC 與 AUCROC 曲線、AUC 的意義、Youden模型排序能力好不好?
閾值與校準調閾值、校準曲線、Brier score分數怎麼變成決策?機率可信嗎?
類別不平衡PR-AUC、class weight、重抽樣正類很少時怎麼評估、怎麼訓練?
Gains 與 Lift(選讀)累積增益、提升度只能處理前 k% 時,模型值多少?
指標的不確定性信賴區間、bootstrap、配對比較分數差 0.02 是真的進步還是雜訊?

評估檢查清單 ​

檢查筆記
指標對應實際目標?ML 方法速查
和簡單 baseline 比過?Baseline
看過不同群體、時間、區間的誤差?錯誤分析
閾值與校準分開考慮?閾值與校準
報告了不確定性?指標的不確定性

常見錯誤 ​

錯誤後果改正
不平衡資料 只看 accuracy全猜多數類別也有 95%PR-AUC、recall、F1
分組或時間資料用隨機切分分數虛高GroupKFold、TimeSeriesSplit
只用單一分數挑模型忽略變異與子群差異報告 CV 平均 ± 標準差、子群表現
調參時反覆看測試集測試集失去獨立性測試集只用一次
差距小於 CV 標準差就宣稱「比較好」只是雜訊用同一組 folds 比較,見 指標的不確定性

見 問題定義、泛化、資料洩漏。