Skip to content

Machine Learning › ML 方法速查

ML 方法速查 (Model Selection Guide) ​

依「任務」與「資料特性」快速找到模型、指標與驗證方式,點連結看細節。

1. 依任務選模型 ​

任務先做的 baseline常用模型筆記
迴歸(連續 y)平均值 / 中位數、線性迴歸Ridge / Lasso、隨機森林、Gradient Boosting線性、Ridge、Lasso、Elastic Net
分類(類別 y)多數類別、邏輯斯迴歸隨機森林、Gradient Boosting、SVM邏輯斯迴歸、SVM、KNN、決策樹、Naive Bayes
表格資料要最高分單一調好的樹模型XGBoost / LightGBM、stackingGradient Boosting、XGBoost、Stacking
要可解釋的係數—線性 / 邏輯斯迴歸、淺層決策樹statsmodels、可解釋性
找群組(無標籤)K-Means階層式、DBSCAN、GMM分群
降維、視覺化PCAt-SNE、UMAP、NMF降維
找異常z-score / IQR 規則Isolation Forest、LOF異常偵測
購物籃 / 共現規則—Apriori、FP-Growth關聯規則
推薦熱門度排序協同過濾、ALS推薦系統

2. 依資料特性調整 ​

資料特性風險對策筆記
特徵遠多於樣本 (p ≫ n),如基因表現過擬合、特徵選擇洩漏正則化、特徵選擇放在 CV 內、nested CV高維小樣本
同一病人 / 使用者有多筆資料同一實體跨 train/test → 分數虛高GroupKFold交叉驗證
有時間順序用未來預測過去TimeSeriesSplit、依時間切交叉驗證、Basetable
類別不平衡accuracy 失真PR-AUC、class weight、調閾值類別不平衡
缺失值偏誤、洩漏pipeline 內補值 + 缺失指標補值
高基數類別one-hot 爆量、target encoding 洩漏頻率 / target encoding(fold 內)類別編碼
量尺差異大距離 / 正則化模型失準標準化(樹模型不需要)特徵縮放
離群值MSE 型模型被拉偏穩健損失、轉換、確認是否為錯誤離群值
批次效應 (batch effect)模型學到批次而非生物訊號依批次分組驗證、設計時平衡批次干擾與批次效應

3. 選評估指標 ​

情境指標筆記
迴歸,誤差單位要好解釋RMSE、MAEMSE / RMSE
分類,類別平衡Accuracy、ROC-AUCROC-AUC
分類,正類稀少PR-AUC、F1、Recall@固定 Precision混淆矩陣指標、類別不平衡
需要可信的機率Log loss、Brier score、校準曲線閾值與校準
只能處理前 k% 名單(行銷、篩檢)Gains / LiftGains 與 Lift
分群(無標籤)Silhouette、與已知標籤比對(ARI)K-Means

4. 選驗證方式 ​

情境驗證方式
資料量大、獨立樣本train / validation / test 三分
一般表格資料KFold / StratifiedKFold(分類)
有分組(病人、批次、使用者)GroupKFold / StratifiedGroupKFold
時間序列TimeSeriesSplit
小樣本且要調參又要報告效能Nested CV

細節見 交叉驗證、切分策略。

選擇前的三個問題 ​

  1. 預測單位與預測時間點是什麼? 決定哪些特徵合法、資料該怎麼切(見 問題定義)
  2. 哪種錯誤代價高? 決定指標與閾值(見 模型評估)
  3. 要預測還是要解釋? 要解釋就優先簡單模型與 statsmodels;要預測就以驗證分數為準