Skip to content

Statistics › 多變量分析 › 線性代數基礎

多變量分析的線性代數基礎 (Linear Algebra Foundations) ​

多變量分析真正的難點,常常不是演算法名稱,而是能否把資料看成向量、矩陣與線性轉換。這些概念穩定後,PCA、多元迴歸、LDA 的數學形式都會變得自然。

核心概念速查 ​

概念數學資料科學中的意義
向量 (vector)x∈Rp一筆觀測的 p 個特徵 = p 維空間中的一個點 / 方向
資料矩陣 (data matrix)Xn×pn 列觀測 × p 欄變數(基因表現矩陣常轉置為基因 × 樣本,注意方向)
線性組合 (linear combination)a1v1+⋯+akvk迴歸配適值、PCA 分數、矩陣分解的近似,本質上都是線性組合
矩陣乘向量Ax線性轉換:旋轉、伸縮、反射、投影;把資料搬到另一個座標系
線性方程組Ax=b唯一解 / 無限多解 / 無解,取決於 A 的欄向量是否冗餘
秩 (rank)線性獨立的欄數rank < p → 有欄位是其他欄的線性組合(完全共線性,例如 dummy trap、p > n)
正交 (orthogonal)x⊤y=0兩個方向不重疊、不攜帶彼此的線性資訊
特徵向量 / 特徵值 (eigenvector / eigenvalue)Av=λv經轉換後方向不變、只被伸縮 λ 倍的特殊方向
共變異矩陣 (covariance matrix)Σ=1n−1Xc⊤Xc(Xc 已中心化)對角線 = 各變數變異;非對角線 = 兩兩共變異

與各方法的連結 ​

方法線性代數視角
PCA共變異矩陣的特徵分解:特徵向量 = 主要變動方向,特徵值 = 該方向的變異量;本質是換基底 (change of basis):先旋轉座標軸,再只保留最有資訊的方向
SVDX=UΣV⊤;PCA 實務上用 SVD 計算,數值更穩定
多元迴歸OLS 解 β^=(X⊤X)−1X⊤y;配適值是 y 在 X 欄空間上的投影
多重共線性X⊤X 接近奇異(不可逆)→ 係數變異爆炸;Ridge 加上 λI 讓它可逆
LDA找讓組間 / 組內變異比最大的投影方向(廣義特徵值問題)
Embedding把物件(字、基因、細胞)映射到向量空間
python
import numpy as np
from sklearn.datasets import load_iris

X = load_iris().data
Xc = X - X.mean(axis=0)                       # 中心化
cov = Xc.T @ Xc / (len(X) - 1)                # = np.cov(X, rowvar=False)

eigvals, eigvecs = np.linalg.eigh(cov)        # 對稱矩陣用 eigh
order = eigvals.argsort()[::-1]
eigvals, eigvecs = eigvals[order], eigvecs[:, order]
eigvals / eigvals.sum()                       # 各主成分解釋的變異比例

U, S, Vt = np.linalg.svd(Xc, full_matrices=False)   # SVD:Vt 的列 = 主成分方向
np.linalg.matrix_rank(X)                            # 秩

解讀習慣 ​

看到先問
矩陣乘法這代表哪種轉換?
線性方程組是唯一解、冗餘解,還是無解?
特徵向量資料中最重要的變動方向是什麼?
PCA新座標系長什麼樣?再談要保留幾個成分

常見錯誤:在量尺差很多的變數上直接做 PCA,量級大的變數會主導結果;先標準化,見 PCA。