Skip to content

Statistics › 迴歸分析

迴歸分析 (Regression Analysis) ​

建立結果變數 Y 與一或多個預測變數 X 的關係。比相關係數多了「方程式」與「每個變數的效果」,但仍不自動代表因果。

三種目的,不要混在一起 ​

目的問題重視
描述 (description)X 與 Y 在這份資料中如何相關?係數、圖
預測 (prediction)X 能多準地預測新資料的 Y?測試集誤差、交叉驗證
解釋 (explanation)調整其他變數後,每個係數代表什麼?係數 + CI、研究設計、干擾因子

依結果變數選模型 ​

結果變數模型筆記
連續,一個 X簡單線性迴歸Simple Linear Regression
連續,多個 X多元線性迴歸Multiple Linear Regression
二元 (0/1)邏輯斯迴歸Logistic Regression
計數 (0, 1, 2, …)Poisson / 負二項迴歸GLM 與計數模型
重複量測 / 群集 / 批次混合效應模型Mixed-Effects Models
存活時間(有設限)Cox 模型存活分析
很多預測變數(p 大)Ridge / LassoML: Regularization

診斷(共線性、殘差、影響點)的深入內容見 多變量:假設與診斷。R 的寫法(lm、glm、broom)見 Explanatory Modeling in R。

常見解讀陷阱 ​

陷阱正確解讀
係數顯著 → 因果只代表在模型假設下有關聯
R² 高 → 模型好還要看殘差、泛化能力、函數形式是否合理
係數不顯著 → 沒有關係可能是檢定力不足、共線性、雜訊或模型設定錯誤
邏輯斯係數 = 機率變化係數作用在 log-odds;轉成 odds ratio 或預測機率