Skip to content

Statistics › 迴歸分析 › 簡單線性迴歸

簡單線性迴歸 (Simple Linear Regression) ​

用一條直線描述一個預測變數 X 與一個連續結果 Y 的關係,是所有迴歸方法的基礎。建模前先用散布圖確認確實有線性趨勢。

Y=β0+β1X+ε,Y^=β^0+β^1X
符號意義
Y結果 / 反應變數 (response)
X預測 / 解釋變數 (predictor)
β₀ 截距 (intercept)X = 0 時 Y 的預測值(常無實際意義)
β₁ 斜率 (slope)X 增加 1 單位,Y 平均改變多少
ε 誤差 (error)X 無法解釋的部分;樣本中的估計值稱為殘差 (residual)

「線性」是指對參數線性,不是 X 與 Y 一定是直線。Y=β0+β1X+β2X2 仍是線性模型;Y=β0+eβ1X 則不是。所以多項式、log 轉換後的特徵都能用線性模型的工具。

最小平方法 (Ordinary Least Squares, OLS) ​

找出讓殘差平方和最小的直線:

min∑(Yi−Y^i)2⇒β^1=∑(Xi−X¯)(Yi−Y¯)∑(Xi−X¯)2=r⋅sYsX,β^0=Y¯−β^1X¯

Python 範例 ​

python
import pandas as pd
import statsmodels.formula.api as smf
from sklearn.datasets import load_iris
from sklearn.linear_model import LinearRegression

df = load_iris(as_frame=True).frame
df.columns = ["sepal_length", "sepal_width", "petal_length", "petal_width", "target"]

# statsmodels:完整統計推論(SE、t、p、CI)
model = smf.ols("petal_length ~ sepal_length", data=df).fit()
model.summary()
model.params, model.conf_int(), model.rsquared

# scikit-learn:ML 工作流程(只有係數,沒有 p 值)
lr = LinearRegression().fit(df[["sepal_length"]], df["petal_length"])
lr.intercept_, lr.coef_, lr.score(df[["sepal_length"]], df["petal_length"])
項目值解讀
Intercept−7.101花萼長 0 cm 時的預測值(不合理,不解讀)
sepal_length1.858花萼每長 1 cm,花瓣平均長 1.858 cm
R²0.760花瓣長度 76% 的變異可由花萼長度解釋
p-value< 0.001斜率顯著不為 0

「與…有關 (associated with)」≠「造成 (causes)」。

模型配適 ​

R2=1−SSresSStot=1−∑(Yi−Y^i)2∑(Yi−Y¯)2
指標意義
R²Y 的變異中被模型解釋的比例;簡單迴歸中 R² = r²
殘差標準誤 (residual standard error, σ̂)典型的預測誤差大小,單位與 Y 相同(≈ RMSE)

R² 的參考:物理科學常 > 0.7,社會 / 生物科學 0.3–0.6 很常見。R² = 1 在真實資料中通常是 bug 或資料洩漏。

R² 只描述解釋比例,不告訴你假設是否成立。兩個模型 R² 相近,實際誤差大小(σ̂)可能差很多。

假設:LINE(針對殘差) ​

假設檢查違反的後果
Linearity 線性殘差 vs 配適值圖無曲線係數有偏
Independence 獨立研究設計、Durbin-WatsonSE 失準、p 值太小
Normality 殘差常態殘差 Q–Q 圖小樣本時 CI / p 值失準(大樣本影響小)
Equal variance 等變異殘差 vs 配適值圖無漏斗形SE 失準 → 用 robust SE(cov_type="HC3")
python
import matplotlib.pyplot as plt
import scipy.stats as stats
import numpy as np

fitted, resid = model.fittedvalues, model.resid
fig, ax = plt.subplots(1, 3, figsize=(15, 4))
ax[0].scatter(fitted, resid, alpha=0.5); ax[0].axhline(0, color="red", ls="--")
ax[0].set_title("Residuals vs Fitted")                       # 曲線 → 非線性;漏斗 → 變異不等
stats.probplot(resid, dist="norm", plot=ax[1])                # 偏離對角線 → 非常態
ax[2].scatter(fitted, np.sqrt(np.abs(model.get_influence().resid_studentized_internal)), alpha=0.5)
ax[2].set_title("Scale-Location")                             # 上升趨勢 → 變異隨配適值增加
plt.tight_layout(); plt.show()

信賴區間 vs 預測區間 ​

區間回答寬度
平均數的信賴區間 (CI for the mean)在這個 X,**迴歸線(平均 Y)**在哪?窄
預測區間 (prediction interval)在這個 X,一個新個體的 Y 會落在哪?寬(多了個體雜訊)

CI vs PI

兩條帶子都在 X 平均處最窄、往兩端變寬;即使 n → ∞,CI 會縮到迴歸線上,PI 仍至少有 ±1.96σ 寬。

python
new = pd.DataFrame({"sepal_length": [5.0, 6.0, 7.0]})
model.get_prediction(new).summary_frame(alpha=0.05)
# mean, mean_ci_lower/upper(CI), obs_ci_lower/upper(PI)

預測個體結果時,預測區間才是誠實的不確定性。不要外插 (extrapolation):X 超出訓練資料範圍時預測不可信。

影響點 (Influence) ​

概念意義
槓桿 (leverage)X 值不尋常
影響力 (influence)移除這點後迴歸線明顯改變(Cook's distance)

高槓桿本身不一定是問題;高槓桿 + 大殘差才會把線拉走。

Leverage vs influence

python
infl = model.get_influence().summary_frame()
infl[["hat_diag", "cooks_d"]].sort_values("cooks_d", ascending=False).head()

趨中迴歸 (Regression to the Mean) ​

極端的觀測值常含較大的隨機成分,再量一次時會自然往平均靠攏,即使沒有任何介入。例如挑出血壓最高的病人,下次量測平均會下降。不要把這種改善誤認為處理效果,需要 對照組。

R 對照 ​

功能R
配適lm(y ~ x, data = df)
新資料預測 / 訓練資料配適值 / 殘差predict(m, newdata) / fitted(m) / residuals(m)
整潔輸出broom::tidy(m)(係數)、glance(m)(R²、σ、AIC)、augment(m)(每列 .fitted、.resid、.cooksd)

觀測值 = 配適值 + 殘差 (response = fitted + residual)。