Skip to content

Statistics › 貝氏統計 › 模型比較

貝氏模型比較 (Bayesian Model Comparison) ​

複雜模型幾乎一定比簡單模型更貼合訓練資料,但不代表預測得更好。模型比較的目標是在解釋力與複雜度之間取得平衡,評估的是對新資料的預測能力。

方法比較的是對先驗適用
貝氏因子 (Bayes factor, BF)邊際概似 P(D∣M)非常敏感檢定虛無假設、巢狀模型,且先驗有根據
WAIC樣本外預測能力(資訊準則)不敏感快速比較;新版 ArviZ 已移除
LOO-CV (PSIS-LOO)樣本外預測能力(留一交叉驗證)不敏感多數情況的預設選擇
DIC偏差 + 有效參數數—過時,僅見於舊程式

貝氏因子 ​

兩個模型的邊際概似 (marginal likelihood) 之比,也就是資料在各模型下、對所有參數值平均後的機率:

BF10=P(D∣M1)P(D∣M0),P(D∣M)=∫P(D∣θ,M)P(θ∣M)dθ

先驗勝算 × BF = 後驗勝算。複雜模型把機率分散在更多可能的資料上,除非資料真的需要,否則邊際概似較低,所以 BF 自動懲罰複雜度(貝氏版的奧卡姆剃刀)。

BF₁₀對 M₁ 的證據(Jeffreys 量表,經驗法則)
< 1支持 M₀(可用 1/BF 判讀強度)
1–3微弱
3–10中等
10–30強
30–100很強
> 100決定性

範例:n = 30、y¯=0.517、已知 σ = 1,比較 M₁:μ ~ N(0, τ²) 與 M₀:μ = 0。因為 y¯ 是充分統計量,邊際概似有公式解:

python
import numpy as np
from scipy.stats import norm

n, ybar, sigma = 30, 0.517, 1.0
se = sigma / np.sqrt(n)

def bf10(tau):                                   # τ = M1 對 μ 的先驗標準差
    return norm.pdf(ybar, 0, np.sqrt(tau**2 + se**2)) / norm.pdf(ybar, 0, se)

[round(bf10(t), 2) for t in (0.1, 0.5, 1, 5, 20, 100)]
# [2.21, 11.76, 8.67, 1.99, 0.5, 0.1]            # 同一份資料,只改先驗

BF 對先驗極度敏感:資料完全相同,先驗標準差從 1 放寬到 100,BF₁₀ 從 8.7 掉到 0.1,結論由「支持 M₁」變成「支持虛無」(Lindley 悖論)。越模糊的先驗等於把越多機率放在不可能的參數值上。使用 BF 時必須用有根據的資訊性或弱資訊性先驗,並做先驗敏感度分析(見 先驗分配)。非正式 (improper) 先驗下 BF 沒有意義。

高維度模型的邊際概似很難算(需要 bridge sampling 等技巧),這也是實務上多半改用 LOO 的原因。

預測能力:LOO-CV 與 WAIC ​

不問「哪個模型機率較高」,而問「哪個模型對沒看過的資料預測得更好」。指標是期望對數逐點預測密度 (expected log pointwise predictive density, ELPD),越高越好。

方法作法備註
LOO-CV每次留一筆資料,用其餘資料預測它用 Pareto 平滑重要性抽樣 (PSIS) 近似,不必重跑 n 次 MCMC
WAIC−2(lppd−pWAIC),lppd 為逐點預測密度、pWAIC 為有效參數數計算快,但在小樣本或有影響點時比 LOO 不穩;缺乏診斷

LOO 附帶診斷:每筆觀測有一個 Pareto k,k > 0.7 表示該點太有影響力、LOO 估計不可靠(可用 moment_match、reloo 或換模型),這是 LOO 優於 WAIC 的主要理由。

python
import numpy as np
import pymc as pm
import arviz as az

rng = np.random.default_rng(1)
x = np.linspace(-2, 2, 30)
y = 1 + 0.8 * x + rng.normal(0, 1, 30)           # 真實關係:線性

def fit(degree):                                  # degree = 多項式次數;0 = 只有截距
    with pm.Model():
        b0 = pm.Normal("b0", 0, 5)
        mu = b0
        for k in range(1, degree + 1):
            mu = mu + pm.Normal(f"b{k}", 0, 2) * x**k
        s = pm.HalfNormal("s", 2)
        pm.Normal("y", mu, s, observed=y)
        idata = pm.sample(1000, tune=1000, chains=4, random_seed=42, progressbar=False)
        pm.compute_log_likelihood(idata)          # LOO 需要逐點對數概似
    return idata

idatas = {"null": fit(0), "linear": fit(1), "quartic": fit(4)}

az.compare(idatas)                                # 預設以 PSIS-LOO 排名
# 排名   elpd_diff   dse    weight
# linear    0.0      0.0     0.88
# quartic  -2.0      1.5     0.00      # 多出 3 個參數,沒有換到更好的預測
# null     -7.0      4.9     0.12
az.loo(idatas["linear"])                          # elpd_loo ≈ -39.7、p_loo ≈ 3.8、Pareto k 全部 < 0.7
az.plot_compare(az.compare(idatas))               # 視覺化比較
欄位意義
elpd(舊版 elpd_loo)預測能力,越高越好
p(舊版 p_loo)有效參數數(複雜度)
elpd_diff與最佳模型的差距
dse差距的標準誤
weight堆疊 (stacking) 權重,可用於模型平均

差距要和誤差一起看:elpd_diff 約小於 2 倍 dse 時,兩個模型幾乎無法區分,此時選較簡單的那個。上例線性 vs 四次的差距(−2.0)不到 dse(1.5)的 2 倍,證據偏向線性但不強;null 差 −7.0,也只有約 1.4 倍 dse,這是樣本只有 30 的限制。

輸出欄位名稱隨 ArviZ 版本不同(1.x 與 0.x),概念相同。1.x 已移除 az.waic,建議直接用 LOO。

預測導向的 LOO 比較的是預測能力,與貝氏因子回答的「哪個模型的機率較高」是不同的問題,兩者可能給出不同的結論。

模型平均 (Model Averaging) ​

與其只選一個模型,不如依權重合併各模型的預測:

P(y~∣D)=∑kwkP(y~∣Mk,D)
權重來源說明
後驗模型機率傳統貝氏模型平均 (BMA);依賴邊際概似,對先驗敏感
堆疊 (stacking)az.compare 預設;直接最佳化預測表現,較推薦
偽 BMA (pseudo-BMA / BB-pseudo-BMA)依 LOO 的 ELPD 加權,較簡單
python
weights = az.compare(idatas)["weight"]            # 各模型權重
# 平均預測 = Σ wₖ × 模型 k 的後驗預測(對每筆預測值加權相加)

某個模型權重 > 0.95 時直接選它即可;模型平均在多個模型都合理、難以取捨時最有價值。

怎麼選 ​

情境建議
比較不同預測模型(特徵、複雜度、分布)LOO,並檢查 Pareto k
資料有群組結構(階層模型),要預測新群組依群組留一(leave-one-group-out),而不是留一筆
時間序列用前向驗證,不要用一般 LOO(見 預測評估)
檢定「效應是否存在」且有明確先驗貝氏因子,並報告先驗敏感度
多個模型難分高下模型平均(stacking)

與頻率學派的對應:LOO ≈ 交叉驗證,WAIC ≈ AIC;BF 則對應虛無假設檢定,但能量化支持虛無的證據(見 貝氏 vs 頻率學派)。