Skip to content

Statistics › 機率與分配 › 蒙地卡羅與重抽樣

蒙地卡羅與重抽樣 (Monte Carlo & Resampling) ​

用重複隨機抽樣近似難以精確求解的量。公式太複雜、假設不確定、或想看整個分配而非單一數字時特別好用。

三種方法比較 ​

方法抽什麼?目的典型問題
蒙地卡羅模擬 (Monte Carlo)從假設的機率模型產生資料估計機率、風險「4 次擲骰至少一個 6 的機率?」
拔靴法 (Bootstrap)從觀察到的樣本放回抽樣估計統計量的不確定性(SE、CI)「中位數的 95% CI?」
置換檢定 (Permutation test)打亂組別標籤建立虛無分配,算 p 值「兩組差異是否只是隨機?」

共同流程:定義隨機過程 → 模擬很多次 → 每次算統計量 → 摘要模擬出的分配。

蒙地卡羅模擬 ​

python
import numpy as np

rng = np.random.default_rng(42)          # 固定 seed 確保可重現
rolls = rng.integers(1, 7, size=(100_000, 4))
(rolls == 6).any(axis=1).mean()          # ≈ 0.518;精確解 1 − (5/6)^4 = 0.5177

# 尾部風險:20 天累積報酬 < −10% 的機率
daily = rng.normal(0.0004, 0.012, size=(200_000, 20))
((1 + daily).prod(axis=1) - 1 < -0.10).mean()

模擬誤差約以 1/nsim 縮小:雜訊減半需要 4 倍模擬次數。罕見事件(尾部機率)需要非常多次才穩定。

拔靴法 (Bootstrap) ​

把樣本當成母體的縮影,放回抽樣出同樣大小的新樣本,重複算統計量。

python
import seaborn as sns

sample = sns.load_dataset("tips")["total_bill"].to_numpy()
boot = np.array([rng.choice(sample, len(sample), replace=True).mean() for _ in range(5000)])

np.percentile(boot, [2.5, 97.5])   # percentile bootstrap 95% CI
boot.std(ddof=1)                   # bootstrap SE

# scipy 內建(預設 BCa,比 percentile 更準)
from scipy.stats import bootstrap
bootstrap((sample,), np.median, n_resamples=5000, random_state=42).confidence_interval

Bootstrap distribution

藍色為 bootstrap 分配、綠線為觀察平均、紅線為 95% CI 上下界。單一樣本平均數變成了「可能平均數的分配」。

適用:中位數、比值、相關係數、AUC 等沒有簡單 SE 公式的統計量。不適用:樣本極小、資料相依(需改用 block bootstrap)、估計極端值(最大值)。ML 中的 Bagging 與 Random Forest 也是基於 bootstrap 抽樣。

置換檢定 (Permutation Test) ​

若虛無假設「兩組沒有差異」為真,組別標籤就是可交換的。反覆打亂標籤、重算統計量,得到虛無分配 (null distribution)。

python
a = rng.normal(10, 2, 15)          # 處理組
b = rng.normal(11.5, 2, 15)        # 對照組
obs = b.mean() - a.mean()

pooled = np.concatenate([a, b])
null = []
for _ in range(10_000):
    rng.shuffle(pooled)
    null.append(pooled[15:].mean() - pooled[:15].mean())
p_value = (np.abs(null) >= abs(obs)).mean()    # 雙尾

# scipy 內建
from scipy.stats import permutation_test
permutation_test((a, b), lambda x, y: y.mean() - x.mean(), n_resamples=10_000).pvalue

不需要常態假設,只要求「H₀ 下可交換 (exchangeability)」。小樣本或分配怪異時是 t 檢定的好替代,見 無母數方法。ML 中的 permutation feature importance 也是相同概念。

限制 ​

限制說明
垃圾進、垃圾出機率模型錯了,模擬結果就會誤導
罕見事件需大量次數尾部機率雜訊大
結果是近似值報告時不要假裝高精度
忽略相依性錯誤假設獨立會嚴重低估風險
沒設 seed結果無法重現