Skip to content

Machine Learning › 套件 › statsmodels › 指標

statsmodels:模型配適指標 (Fit Metrics) ​

statsmodels 結果物件內建的配適指標,以及它們和 sklearn 指標的差別。這些都是樣本內指標;預測能力要用測試集或交叉驗證,見 迴歸指標。

線性迴歸 (ols(...).fit()) ​

指標屬性公式說明
R²rsquared1−SSres/SStot解釋變異比例;加變數只會上升
調整 R²rsquared_adj1−(1−R2)n−1n−p−1懲罰變數數量
殘差平方和ssr∑(yi−y^i)2—
殘差均方mse_residSSres/(n−p−1)除以殘差自由度,是誤差變異 σ² 的不偏估計;不是 sklearn 的 MSE
殘差標準誤np.sqrt(mse_resid)—R summary() 的 Residual standard error
AIC / BICaic、bic依 log-likelihood 與參數數比較模型,越小越好
整體 F 檢定fvalue、f_pvalue—所有斜率是否同時為 0
python
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from statsmodels.tools.eval_measures import rmse

df = pd.DataFrame({"x": [1, 2, 3, 4, 5], "y": [2, 4, 5, 4, 5]})
model = smf.ols("y ~ x", data=df).fit()

model.rsquared                  # 0.6
model.ssr                       # 2.4
model.mse_resid                 # 0.8  = 2.4 / (5 − 2)
np.mean(model.resid ** 2)       # 0.48 = 2.4 / 5   ← 這才是 sklearn 的 mean_squared_error
rmse(df["y"], model.predict(df))  # 0.693 = √0.48
np.mean(np.abs(model.resid))    # MAE

小樣本時兩種「MSE」差很多(0.8 vs 0.48)。比較 statsmodels 與 sklearn 的結果、或和他人報告的數字對照時,先確認除以 n 還是 n − p − 1。

邏輯斯迴歸 (logit(...).fit()) ​

指標屬性說明
McFadden pseudo R²prsquared1−ℓmodel/ℓnull;數值通常遠低於線性迴歸的 R²,0.2–0.4 已算配適良好
概似比檢定llr、llr_pvalue模型是否比只有截距好
Log-likelihoodllf、llnull—
AIC / BICaic、bic比較模型
分類表pred_table(threshold=0.5)樣本內的混淆矩陣

pseudo R² 不能解讀成「解釋了多少變異」。分類表現(AUC、precision、recall)應在測試資料上用 sklearn 計算,見 混淆矩陣指標、ROC 與 AUC。

指標怎麼選 ​

目的指標
描述配適程度R²、調整 R²(線性);pseudo R²(邏輯斯)
比較非巢狀模型AIC、BIC
比較巢狀模型概似比檢定(compare_lr_test)、F 檢定(compare_f_test)
誤差大小殘差標準誤 sqrt(mse_resid);預測誤差用測試集 RMSE
預測能力交叉驗證或測試集,不是樣本內指標