Skip to content

Machine Learning › 前處理

前處理 (Preprocessing) ​

把原始資料整理成模型能穩定學習的特徵。前處理直接影響泛化、資料洩漏 風險與上線可重現性,所以每一步都要放進 Pipeline。

建議順序 ​

text
切分資料 → 補值 → 類別編碼 → 離群值處理 → 縮放 → 特徵選擇
(先切!)    └──────── 全部只在訓練資料上 fit ────────┘

筆記 ​

筆記內容回答的問題
Train-Test Split切分比例、分層、三分法資料怎麼切?切多少?
補值單一 / 多重補值、缺失指標、KNN / Iterative缺失值怎麼處理才不扭曲資料?
類別編碼One-hot、Ordinal、Target encoding、Hashing類別變數怎麼變成數字?
離群值處理偵測規則、截尾、轉換、穩健模型極端值是錯誤還是訊號?
特徵縮放Standard / MinMax / Robust、哪些模型需要要不要縮放?用哪一種?
特徵選擇Filter / Wrapper / Embedded、逐步選擇哪些特徵該留下?

哪些模型需要哪些前處理 ​

模型縮放One-hot缺失值
線性 / 邏輯斯迴歸(有正則化)需要需要需補值
KNN、SVM、PCA、K-Means需要需要需補值
神經網路需要需要(或 embedding)需補值
決策樹、隨機森林不需要低基數可用 ordinal新版 sklearn 可直接吃 NaN(決策樹 1.3+、隨機森林 1.4+)
HistGradientBoosting、XGBoost、LightGBM不需要可原生處理類別原生支援 NaN

常見錯誤 ​

錯誤後果
在整份資料上先補值或標準化,再切分洩漏
名目類別直接 label encode 給線性模型模型以為類別有大小順序
看到離群值就刪可能刪掉最重要的訊號(罕見疾病、詐欺)
用全部資料挑特徵再做 CV洩漏,純雜訊也能有高分