Skip to content

Machine Learning › 監督式學習 › 迴歸 › 迴歸樹

迴歸樹 (Decision Tree Regression) ​

迴歸樹把特徵空間切成很多矩形區塊,每個區塊預測一個常數(該區塊訓練資料 y 的平均)。切分規則、剪枝與可解釋性和 分類樹 相同,差別在分裂準則與輸出。

分類樹迴歸樹
葉節點輸出類別比例 / 多數類別y 的平均(或中位數)
分裂準則 criteriongini、entropy、log_losssquared_error、absolute_error、friedman_mse、poisson
sklearnDecisionTreeClassifierDecisionTreeRegressor

Regression tree depth

預測是階梯狀:深度 2 只有 4 階,抓到大致形狀;深度 4 較貼近真實曲線,測試 MSE 最低;不限深度時每個訓練點自成一葉,訓練 MSE = 0、測試 MSE 反而最高。

用法 ​

python
from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import GridSearchCV, KFold

# 承 diabetes 切分
search = GridSearchCV(DecisionTreeRegressor(random_state=0),
                      {"max_depth": [1, 2, 3, 4, 6, 10, None], "min_samples_leaf": [1, 5, 10, 20]},
                      cv=KFold(5, shuffle=True, random_state=0), scoring="neg_root_mean_squared_error")
search.fit(X_train, y_train)

diabetes 上不同深度的 CV RMSE:

max_depth1234610不限
CV RMSE69.264.166.568.572.780.478.7

最佳的單棵樹 (64.1) 仍明顯輸給線性迴歸 (54.9):資料以線性關係為主、樣本又少時,單棵樹的階梯近似很吃虧。

特性 ​

優點缺點
自動抓非線性與交互作用預測不連續(階梯狀),無法外推到訓練範圍之外
不需縮放、可處理 NaN(新版 sklearn)單棵樹變異很大,資料稍變結構就改變
淺樹可直接讀成規則深樹極易 過擬合
criterion="poisson" 可處理計數目標通常輸給 隨機森林、Gradient Boosting

實務上很少單獨使用迴歸樹,它主要是集成方法的基本單元。要可解釋的非線性模型,可考慮淺樹、廣義加法模型 (GAM),或樹模型 + SHAP。