Skip to content

Statistics › 實驗設計

實驗設計 (Experimental Design) ​

在蒐集資料之前規劃研究,讓資料能有效、有效率、無偏誤地回答研究問題。設計良好的實驗才能支持因果結論。設計一旦有缺陷,再好的分析也救不回來。

開始前要回答的問題 ​

  • 實驗單位 (experimental unit) 是什麼?有效樣本數是多少?
  • 處理怎麼分派?有沒有隨機化?
  • 已知的變異來源(批次、機台、日期、操作者)怎麼控制?
  • 需要多少樣本才有足夠的檢定力?

筆記 ​

筆記內容回答的問題
核心概念變數類型、實驗單位、假重複、實驗 vs 觀察研究實驗的基本結構是什麼?
設計原則隨機化、重複、區集化、局部控制什麼讓實驗有效?
常見設計CRD、RCBD、因子、拉丁方格、交叉、裂區哪種設計結構適合?
A/B 測試產品實驗、指標、偷看、SRM線上實驗怎麼做?
干擾、偏誤與效度干擾因子、批次效應、各種偏誤、DAG哪裡會出錯、如何預防?
樣本數與檢定力power analysis、效果量、經驗法則需要多少樣本?

實驗 vs 觀察研究 ​

實驗 (experiment)觀察研究 (observational study)
分組方式研究者隨機分派自我選擇或自然形成
因果推論✅(設計良好時)❌ 只有關聯(需額外假設)
控制干擾隨機化只能統計調整(已測量的變數)
可行性有時不實際或不道德通常較容易
例子RCT、A/B 測試、實驗室實驗調查、世代研究、病例對照研究

無法隨機化時,準實驗 (quasi-experimental) 方法如差異中的差異 (difference-in-differences)、斷點迴歸 (regression discontinuity)、工具變數 (instrumental variables)、傾向分數 (propensity score) 屬於因果推論的進階主題。