外觀
Statistics › 貝氏統計 › 模型比較
貝氏模型比較 (Bayesian Model Comparison)
複雜模型幾乎一定比簡單模型更貼合訓練資料,但不代表預測得更好。模型比較的目標是在解釋力與複雜度之間取得平衡,評估的是對新資料的預測能力。
| 方法 | 比較的是 | 對先驗 | 適用 |
|---|---|---|---|
| 貝氏因子 (Bayes factor, BF) | 邊際概似 | 非常敏感 | 檢定虛無假設、巢狀模型,且先驗有根據 |
| WAIC | 樣本外預測能力(資訊準則) | 不敏感 | 快速比較;新版 ArviZ 已移除 |
| LOO-CV (PSIS-LOO) | 樣本外預測能力(留一交叉驗證) | 不敏感 | 多數情況的預設選擇 |
| DIC | 偏差 + 有效參數數 | — | 過時,僅見於舊程式 |
貝氏因子
兩個模型的邊際概似 (marginal likelihood) 之比,也就是資料在各模型下、對所有參數值平均後的機率:
先驗勝算 × BF = 後驗勝算。複雜模型把機率分散在更多可能的資料上,除非資料真的需要,否則邊際概似較低,所以 BF 自動懲罰複雜度(貝氏版的奧卡姆剃刀)。
| BF₁₀ | 對 M₁ 的證據(Jeffreys 量表,經驗法則) |
|---|---|
| < 1 | 支持 M₀(可用 1/BF 判讀強度) |
| 1–3 | 微弱 |
| 3–10 | 中等 |
| 10–30 | 強 |
| 30–100 | 很強 |
| > 100 | 決定性 |
範例:n = 30、
python
import numpy as np
from scipy.stats import norm
n, ybar, sigma = 30, 0.517, 1.0
se = sigma / np.sqrt(n)
def bf10(tau): # τ = M1 對 μ 的先驗標準差
return norm.pdf(ybar, 0, np.sqrt(tau**2 + se**2)) / norm.pdf(ybar, 0, se)
[round(bf10(t), 2) for t in (0.1, 0.5, 1, 5, 20, 100)]
# [2.21, 11.76, 8.67, 1.99, 0.5, 0.1] # 同一份資料,只改先驗BF 對先驗極度敏感:資料完全相同,先驗標準差從 1 放寬到 100,BF₁₀ 從 8.7 掉到 0.1,結論由「支持 M₁」變成「支持虛無」(Lindley 悖論)。越模糊的先驗等於把越多機率放在不可能的參數值上。使用 BF 時必須用有根據的資訊性或弱資訊性先驗,並做先驗敏感度分析(見 先驗分配)。非正式 (improper) 先驗下 BF 沒有意義。
高維度模型的邊際概似很難算(需要 bridge sampling 等技巧),這也是實務上多半改用 LOO 的原因。
預測能力:LOO-CV 與 WAIC
不問「哪個模型機率較高」,而問「哪個模型對沒看過的資料預測得更好」。指標是期望對數逐點預測密度 (expected log pointwise predictive density, ELPD),越高越好。
| 方法 | 作法 | 備註 |
|---|---|---|
| LOO-CV | 每次留一筆資料,用其餘資料預測它 | 用 Pareto 平滑重要性抽樣 (PSIS) 近似,不必重跑 n 次 MCMC |
| WAIC | 計算快,但在小樣本或有影響點時比 LOO 不穩;缺乏診斷 |
LOO 附帶診斷:每筆觀測有一個 Pareto k,k > 0.7 表示該點太有影響力、LOO 估計不可靠(可用 moment_match、reloo 或換模型),這是 LOO 優於 WAIC 的主要理由。
python
import numpy as np
import pymc as pm
import arviz as az
rng = np.random.default_rng(1)
x = np.linspace(-2, 2, 30)
y = 1 + 0.8 * x + rng.normal(0, 1, 30) # 真實關係:線性
def fit(degree): # degree = 多項式次數;0 = 只有截距
with pm.Model():
b0 = pm.Normal("b0", 0, 5)
mu = b0
for k in range(1, degree + 1):
mu = mu + pm.Normal(f"b{k}", 0, 2) * x**k
s = pm.HalfNormal("s", 2)
pm.Normal("y", mu, s, observed=y)
idata = pm.sample(1000, tune=1000, chains=4, random_seed=42, progressbar=False)
pm.compute_log_likelihood(idata) # LOO 需要逐點對數概似
return idata
idatas = {"null": fit(0), "linear": fit(1), "quartic": fit(4)}
az.compare(idatas) # 預設以 PSIS-LOO 排名
# 排名 elpd_diff dse weight
# linear 0.0 0.0 0.88
# quartic -2.0 1.5 0.00 # 多出 3 個參數,沒有換到更好的預測
# null -7.0 4.9 0.12
az.loo(idatas["linear"]) # elpd_loo ≈ -39.7、p_loo ≈ 3.8、Pareto k 全部 < 0.7
az.plot_compare(az.compare(idatas)) # 視覺化比較| 欄位 | 意義 |
|---|---|
elpd(舊版 elpd_loo) | 預測能力,越高越好 |
p(舊版 p_loo) | 有效參數數(複雜度) |
elpd_diff | 與最佳模型的差距 |
dse | 差距的標準誤 |
weight | 堆疊 (stacking) 權重,可用於模型平均 |
差距要和誤差一起看:
elpd_diff約小於 2 倍dse時,兩個模型幾乎無法區分,此時選較簡單的那個。上例線性 vs 四次的差距(−2.0)不到dse(1.5)的 2 倍,證據偏向線性但不強;null 差 −7.0,也只有約 1.4 倍dse,這是樣本只有 30 的限制。輸出欄位名稱隨 ArviZ 版本不同(1.x 與 0.x),概念相同。1.x 已移除
az.waic,建議直接用 LOO。預測導向的 LOO 比較的是預測能力,與貝氏因子回答的「哪個模型的機率較高」是不同的問題,兩者可能給出不同的結論。
模型平均 (Model Averaging)
與其只選一個模型,不如依權重合併各模型的預測:
| 權重來源 | 說明 |
|---|---|
| 後驗模型機率 | 傳統貝氏模型平均 (BMA);依賴邊際概似,對先驗敏感 |
| 堆疊 (stacking) | az.compare 預設;直接最佳化預測表現,較推薦 |
| 偽 BMA (pseudo-BMA / BB-pseudo-BMA) | 依 LOO 的 ELPD 加權,較簡單 |
python
weights = az.compare(idatas)["weight"] # 各模型權重
# 平均預測 = Σ wₖ × 模型 k 的後驗預測(對每筆預測值加權相加)某個模型權重 > 0.95 時直接選它即可;模型平均在多個模型都合理、難以取捨時最有價值。
怎麼選
| 情境 | 建議 |
|---|---|
| 比較不同預測模型(特徵、複雜度、分布) | LOO,並檢查 Pareto k |
| 資料有群組結構(階層模型),要預測新群組 | 依群組留一(leave-one-group-out),而不是留一筆 |
| 時間序列 | 用前向驗證,不要用一般 LOO(見 預測評估) |
| 檢定「效應是否存在」且有明確先驗 | 貝氏因子,並報告先驗敏感度 |
| 多個模型難分高下 | 模型平均(stacking) |
與頻率學派的對應:LOO ≈ 交叉驗證,WAIC ≈ AIC;BF 則對應虛無假設檢定,但能量化支持虛無的證據(見 貝氏 vs 頻率學派)。