Skip to content

Statistics › 多變量分析 › 模型假設與診斷

模型假設與診斷 (Model Assumptions & Diagnostics) ​

違反假設不一定讓模型「錯」,但可能讓估計不可靠、SE 錯誤、預測有偏。違反核心假設的模型表面上可能看起來很好(高 R²、顯著 p 值)。診斷是統計嚴謹度的最後一道防線。

線性迴歸:LINE + 兩項 ​

假設意義檢查違反時
LinearityX 與 y 線性殘差 vs 配適值多項式項、轉換、樣條 (spline)
Independence觀測獨立研究設計、Durbin-Watson混合模型、時間序列模型
Normality殘差近似常態殘差 Q–Q 圖大樣本影響小;小樣本考慮轉換或 bootstrap
Equal variance殘差變異固定Scale-Location、Breusch-Pagan轉換 y、WLS、robust SE (HC3)
無嚴重共線性預測變數不高度相關VIF < 10見 多元線性迴歸
無過度影響點單一觀測不主導估計Cook's distance檢查資料、敏感度分析

最關鍵的是線性與等變異(影響估計與 SE)以及獨立;常態性在大樣本下因 CLT 較不重要,主要影響小樣本的 p 值與 CI。

四張診斷圖 ​

python
import numpy as np
import matplotlib.pyplot as plt
import scipy.stats as stats
import statsmodels.api as sm
from sklearn.datasets import fetch_california_housing

df = fetch_california_housing(as_frame=True).frame.sample(2000, random_state=42)
X = sm.add_constant(df[["MedInc", "HouseAge", "AveRooms", "AveOccup"]])
res = sm.OLS(df["MedHouseVal"], X).fit()

infl = res.get_influence()
fitted, resid = res.fittedvalues, res.resid
std_resid = infl.resid_studentized_internal
cooks = infl.cooks_distance[0]

fig, ax = plt.subplots(2, 2, figsize=(12, 9))
ax[0, 0].scatter(fitted, resid, s=10, alpha=0.3); ax[0, 0].axhline(0, color="red", ls="--")
ax[0, 0].set_title("1. Residuals vs Fitted")
stats.probplot(resid, dist="norm", plot=ax[0, 1]); ax[0, 1].set_title("2. Q–Q")
ax[1, 0].scatter(fitted, np.sqrt(np.abs(std_resid)), s=10, alpha=0.3); ax[1, 0].set_title("3. Scale-Location")
ax[1, 1].stem(cooks, markerfmt=","); ax[1, 1].axhline(4 / len(cooks), color="red", ls="--")
ax[1, 1].set_title("4. Cook's Distance")
plt.tight_layout(); plt.show()

# 或一行:statsmodels 內建
sm.graphics.plot_regress_exog(res, "MedInc")      # 針對單一預測變數:殘差、部分迴歸、CCPR 圖
圖型態診斷對策
1. 殘差 vs 配適值隨機分布在 0 附近✅—
曲線(U 形、拱形)非線性多項式、轉換 X
漏斗形(越來越寬)異質變異log / sqrt 轉換 y、WLS、HC3
帶狀或分組未建模的結構加入遺漏變數或交互作用
2. Q–Q沿對角線✅—
S 形向外 / 向內厚尾 / 薄尾穩健迴歸、bootstrap
單向彎曲偏態轉換 y
3. Scale-Location水平帶✅ 等變異—
上升 / 下降異質變異同上
4. Cook's D< 4/n✅—
4/n ~ 1⚠️ 值得檢查—
> 1❌ 高影響力查證資料、報告有無此點的結果

Residual patterns

Cook's distance 結合槓桿與殘差大小:Di=∑j(y^j−y^j(−i))2(p+1)σ^2,即「移除第 i 點後,所有配適值改變多少」。

異質變異 (Heteroscedasticity) ​

python
from statsmodels.stats.diagnostic import het_breuschpagan, het_white

het_breuschpagan(res.resid, res.model.exog)[1]    # p 值;H₀ = 等變異
het_white(res.resid, res.model.exog)[1]           # 也能偵測非線性的異質變異

res_robust = sm.OLS(df["MedHouseVal"], X).fit(cov_type="HC3")   # 係數不變,只修正 SE
對策時機
log 轉換 y變異隨配適值等比例增加
sqrt 轉換計數資料、中度異質變異(或改用 Poisson / NB GLM)
加權最小平方 (WLS)已知變異結構
Robust SE (HC3)不想轉換,只要推論正確;異質變異輕微時的首選

邏輯斯迴歸 ​

檢查工具目標
log-odds 線性Box-Tidwell、分箱後畫經驗 logit線性
完全分離收斂警告、係數 / SE 爆大無;有則用 Firth 或正則化
共線性VIF< 10
區辨力 (discrimination)ROC / AUC> 0.7(依情境)
校準 (calibration)校準曲線貼近對角線
python
from sklearn.calibration import calibration_curve
prob_true, prob_pred = calibration_curve(y_test, y_prob, n_bins=8)
plt.plot(prob_pred, prob_true, "s-"); plt.plot([0, 1], [0, 1], "k--"); plt.show()

曲線在對角線上方 → 模型低估機率(太保守);下方 → 高估(過度自信)。AUC 衡量排序能力,校準衡量機率準不準,兩者不同;用預測機率做風險決策時校準很重要。見 Thresholds & Calibration。

PCA 與分群 ​

python
from sklearn.decomposition import PCA
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_samples, silhouette_score
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris

Xs = StandardScaler().fit_transform(load_iris().data)

# PCA:重建誤差
pca = PCA(n_components=2).fit(Xs)
np.mean((Xs - pca.inverse_transform(pca.transform(Xs))) ** 2)

# 分群:每個點的輪廓係數 s_i = (b_i − a_i) / max(a_i, b_i)
labels = KMeans(n_clusters=3, n_init=10, random_state=42).fit_predict(Xs)
s = silhouette_samples(Xs, labels)
silhouette_score(Xs, labels), (s < 0).sum()       # 平均輪廓係數、可能分錯群的點數

aᵢ = 與同群其他點的平均距離;bᵢ = 與最近其他群的平均距離。sᵢ 接近 1 → 分得好;< 0 → 可能屬於別群。

診斷清單 ​

模型檢查工具目標
OLS線性殘差 vs 配適值隨機分布
等變異Scale-Location、Breusch-Pagan水平;p > 0.05
常態Q–Q 圖沿對角線
影響點Cook's D無點 > 4/n(或已查證)
共線性VIF< 10
邏輯斯校準校準曲線貼近對角線
區辨力ROC / AUC依情境
PCA保留變異Scree、累積變異依用途
可解釋性負荷量、biplot每個成分有清楚的主導變數
K-Means群品質輪廓係數> 0.5 好、> 0.7 強
群數手肘 + 輪廓兩者一致

模型行為怪異時的檢查順序:(1) 前處理 / 資料洩漏 → (2) 量尺與編碼 → (3) 影響點 → (4) 假設違反 → (5) 門檻或校準。很多看似進階的診斷問題,起點都是基本的資料流程錯誤。

statsmodels 的診斷 API(殘差圖、VIF、Breusch-Pagan、Cook's distance)見 statsmodels:診斷。