Skip to content

Machine Learning › 監督式學習 › 集成方法 › Stacking

堆疊集成 (Stacking) ​

用多個不同的基本模型產生預測,再訓練一個第二層模型 (meta-model) 學習怎麼組合它們。第二層的訓練資料必須是基本模型的 out-of-fold (OOF) 預測,否則就是洩漏。

text
                    ┌─ 模型 A ─┐
訓練資料 ─ K-fold ─┼─ 模型 B ─┼─► OOF 預測(每筆都由沒看過它的模型預測)─► meta-model
                    └─ 模型 C ─┘
預測時:A、B、C(用全部訓練資料重新 fit)的預測 → meta-model → 最終預測

為什麼要 OOF ​

若基本模型在訓練資料上預測自己看過的樣本,預測會過度樂觀(例如隨機森林的訓練 accuracy ≈ 1),meta-model 就會學到「永遠相信那個最會背答案的模型」。OOF 預測讓第二層看到的是基本模型在沒看過的資料上的表現。sklearn 的 StackingClassifier 透過 cv 參數自動做這件事。

用法 ​

python
from sklearn.ensemble import StackingClassifier, RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

stack = StackingClassifier(
    estimators=[("rf",  RandomForestClassifier(n_estimators=300, random_state=0)),
                ("svm", make_pipeline(StandardScaler(), SVC())),           # 自動用 decision_function
                ("knn", make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=15)))],
    final_estimator=LogisticRegression(max_iter=1000),   # 第二層用簡單模型,避免過擬合
    cv=5,                    # 產生 OOF 預測的 fold 數
    stack_method="auto",     # 依序嘗試 predict_proba → decision_function → predict
    passthrough=False,       # True:第二層也看原始特徵
)
stack.fit(X_train, y_train)  # 承乳癌範例;CV AUC 0.993(RF 0.986、SVM 0.993、KNN 0.986)

乳癌資料上 stacking 和最好的單一模型(SVM 0.993)持平,卻多了 3 個模型的訓練與部署成本。

Blending vs Stacking ​

BlendingStacking
做法直接對各模型的預測取(加權)平均;或在一塊保留的驗證集上學權重用 OOF 預測訓練第二層模型
實作簡單較複雜
洩漏風險低OOF 流程錯就洩漏
建議單模型與驗證流程還不穩時先用單模型都穩定、仍想再擠分數時

Kaggle 情境的用法見 Kaggle 競賽流程。

注意事項 ​

注意原因
基本模型要多樣相似的模型提供不了新資訊
第二層用簡單模型輸入只有幾欄,複雜模型容易過擬合
評估 stacking 本身要再包一層 CVcross_val_score(stack, ...);stacking 內部的 cv 只用來產生 OOF
和強的單一模型比較增加的複雜度常不值得
手動實作時用 cross_val_predict(model, X, y, cv=5, method="predict_proba") 產生 OOF