Skip to content

Machine Learning › 前處理 › 離群值處理

離群值處理 (Outlier Handling) ​

離群值可能來自輸入錯誤、量測問題,或是真實但罕見的現象。處理的關鍵不是「看起來很大就刪」,而是先分辨它是錯誤還是訊號。描述統計面的偵測與判讀見 單變數:數值型、資料品質。

先判斷來源 ​

來源例子處理
輸入 / 單位錯誤年齡 150、身高用公尺填成公分修正;無法修正就設為缺失再 補值
量測 / 技術問題儀器飽和、定序深度異常低的樣本QC 階段排除,並記錄規則
真實極端值罕見疾病、詐欺、超級大客戶保留;用穩健方法降低影響
不屬於目標母體測試帳號、員工交易依母體定義排除

離群值可能正是你要找的東西(詐欺、罕見亞型)。這類問題請看 異常偵測,而不是把它們刪掉。

偵測規則 ​

規則定義適合注意
IQR (Tukey fence)超出 [Q1−1.5IQR, Q3+1.5IQR]一般用途、偏態資料大樣本下仍會標出不少點
z-score|x−x¯|/s>3近似常態平均與 SD 本身會被離群值拉走(遮蔽效應)
穩健 z-score以中位數與 MAD 取代,|z|>3.5有離群值時—
領域規則年齡 < 0 或 > 120有明確合理範圍最可靠
多變量Isolation Forest、LOF、Mahalanobis 距離單看每欄都正常,組合起來不正常見 異常偵測
python
import pandas as pd
from scipy.stats import zscore, median_abs_deviation

s = pd.Series([25, 28, 30, 150, 27, 31, 29, 26])

# 1. IQR
q1, q3 = s.quantile([0.25, 0.75]); iqr = q3 - q1
s[(s < q1 - 1.5 * iqr) | (s > q3 + 1.5 * iqr)]            # [150]

# 2. z-score:小樣本時離群值會把 SD 撐大,自己躲過門檻
zscore(s).round(2)                                         # 150 的 z 只有 2.64 < 3 → 漏抓

# 3. 穩健 z-score
(s - s.median()) / median_abs_deviation(s, scale="normal")  # 150 的穩健 z ≈ 41

處理方法 ​

方法做法何時用
刪除移除該列確定是錯誤,且無法修正
截尾 (winsorize / clip)把超出分位數的值壓回分位數真實但不該主導模型
轉換log、平方根右偏的正值資料(金額、表現量、計數)
穩健縮放RobustScaler距離型模型,見 特徵縮放
穩健模型 / 損失樹模型、Huber、MAE不想改資料本身
設為缺失換成 NaN 再補值錯誤值但列的其他資訊仍有用
python
import numpy as np

# 截尾:分位數要用「訓練資料」計算,再套到測試資料
lo, hi = X_train["amount"].quantile([0.01, 0.99])
X_train["amount"] = X_train["amount"].clip(lo, hi)
X_test["amount"] = X_test["amount"].clip(lo, hi)

# 平均 ± 3 SD 截尾(近似常態時才合理)
m, sd = X_train["age"].mean(), X_train["age"].std()
X_train["age"] = X_train["age"].clip(m - 3 * sd, m + 3 * sd)

# log 轉換(含 0 用 log1p)
df["log_income"] = np.log1p(df["income"])

scipy.stats.mstats.winsorize(x, limits=[0.05, 0.01]) 也能截尾(壓下方 5%、上方 1%),但回傳 masked array,且分位數是對傳入的資料本身計算;在 train / test 分開的流程中,用上面 clip 搭配訓練集分位數較安全。

穩健損失:不改資料也能降低影響 ​

OLS vs Huber

3 個離群點就把最小平方法的斜率從真值 2 拉到 1.47;Huber 損失對大殘差改用線性懲罰,斜率 2.13 幾乎不受影響。損失函數的比較見 損失函數。

python
from sklearn.linear_model import HuberRegressor
HuberRegressor(epsilon=1.35).fit(X, y)      # epsilon 越小越穩健

注意事項 ​

注意原因
偵測門檻與截尾分位數只用訓練資料算否則洩漏
記錄處理規則上線時要對新資料套用同一規則
聚合特徵常更偏sum_spend、max_donation、距上次事件天數等 basetable 特徵比原始欄位更右偏
離群值與缺失常一起出現一起處理,見 補值
樹模型本身對 X 的離群值不敏感但 y 的離群值仍會影響(MSE 損失)
生資:先看 QC 指標異常樣本常可由定序深度、比對率、粒線體比例等 QC 解釋,見 PCA 找離群樣本