Skip to content

Machine Learning › 基礎概念 › 高維小樣本

高維小樣本 (High-Dimensional Data, p ≫ n) ​

特徵數 p 遠大於樣本數 n 是生資的常態:RNA-seq 約 2 萬個基因配上幾十到幾百個樣本、甲基化晶片幾十萬個位點、蛋白質體上千個蛋白。這種資料下,模型幾乎一定能完美擬合訓練資料,所以驗證設計比模型選擇更重要。

會出什麼問題 ​

問題原因後果
必然過擬合p ≥ n 時,線性模型可以完美分開任何標籤訓練準確率 100% 沒有任何意義
OLS 無唯一解X⊤X 不可逆(rank < p)必須用 Ridge / Lasso / Elastic Net 等正則化
偽相關上萬個特徵中,純靠機率就會有幾十個與標籤高度相關「找到的生物標記」無法再現;推論時要 多重檢定校正
特徵選擇洩漏在全資料上挑特徵再做 CV純雜訊也能得到 90% 以上準確率,見 資料洩漏
維度詛咒 (curse of dimensionality)高維空間中最近鄰與最遠鄰的距離差不多KNN、距離型分群、核方法變差
共線性基因共表現、同一 pathway 的特徵高度相關係數與特徵重要性不穩定;換個子樣本選出的基因就不同
效能估計不穩測試集只有十幾個樣本單次切分的分數可差 ±15%

Curse of dimensionality

左:200 個均勻隨機點,維度從 2 升到 1,000 時,最遠距離與最近距離的相對差從約 230 倍降到 0.1 倍,「最近鄰」失去意義。右:5 個真實特徵、n = 100,加入越多純雜訊特徵,訓練準確率越快到 1,CV 準確率卻一路掉向 0.5。

對策 ​

對策做法注意
強正則化Lasso / Elastic Net / Ridge、樹模型限制深度Elastic Net 適合相關的基因群,見 正則化
降維PCA 後再建模PCA 也要放在 pipeline 內 fit,見 PCA
特徵選擇放在 CV 內SelectKBest、SelectFromModel 放進 pipeline不使用標籤的過濾(低表現量、低變異)風險較低,但仍建議放進 pipeline
使用先驗知識用 pathway / gene set 分數取代單一基因、事先指定候選基因降低有效維度,結果也較好解釋
偏好簡單模型正則化的線性模型常與複雜模型打平小樣本時複雜模型的變異大
Nested CV內層調參、外層估計效能避免「調參 + 報告」用同一批分數
重複 CVRepeatedStratifiedKFold,報告平均 ± 標準差小樣本下單次 CV 也不穩
置換檢定打亂標籤重跑,看真實分數是否明顯高於隨機見 置換檢定
外部驗證另一個 cohort / 批次內部 CV 再好也不能取代

Nested CV 與置換檢定 ​

python
from sklearn.datasets import make_classification
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import (GridSearchCV, StratifiedKFold, RepeatedStratifiedKFold,
                                     cross_val_score, permutation_test_score)

# 模擬:80 個樣本、2,000 個特徵,其中 10 個有訊號
X, y = make_classification(n_samples=80, n_features=2000, n_informative=10, random_state=0)

pipe = make_pipeline(StandardScaler(), SelectKBest(f_classif), LogisticRegression(max_iter=5000))
grid = {"selectkbest__k": [10, 50, 200], "logisticregression__C": [0.01, 0.1, 1]}

# 1. Nested CV:內層挑參數,外層估計「整個流程(含調參)」的效能
inner = StratifiedKFold(5, shuffle=True, random_state=0)
outer = RepeatedStratifiedKFold(n_splits=5, n_repeats=5, random_state=1)
search = GridSearchCV(pipe, grid, cv=inner, scoring="roc_auc")
scores = cross_val_score(search, X, y, cv=outer, scoring="roc_auc")
scores.mean(), scores.std()          # 0.64 ± 0.10   ← 誠實的估計
search.fit(X, y).best_score_         # 0.76          ← 調參時看到的最佳分數,偏樂觀

# 2. 置換檢定:分數是否明顯高於隨機標籤
fixed = make_pipeline(StandardScaler(), SelectKBest(f_classif, k=50),
                      LogisticRegression(C=0.1, max_iter=5000))
score, perm_scores, p = permutation_test_score(fixed, X, y, cv=inner, scoring="roc_auc",
                                               n_permutations=200, random_state=0)
score, perm_scores.mean(), p         # 0.74, 0.51, p ≈ 0.01

同一份資料上,調參時的最佳 CV 分數 (0.76) 比 nested CV (0.64) 高了 0.12,這就是「挑選」本身造成的樂觀偏誤。小樣本論文報告的若是前者,效能多半被高估。

解讀特徵時的提醒 ​

提醒原因
選出的特徵清單不穩定是常態相關特徵之間可互相替代;用 bootstrap 看每個特徵被選中的頻率(stability selection)
「預測得好」≠「生物學上重要」模型可能抓到批次、細胞比例或其他干擾,見 批次效應
單變量篩選要校正多重檢定若要報告「哪些基因有差異」,那是推論問題,用 多重檢定校正 而不是預測模型
樣本單位要正確單細胞資料的獨立單位常是病人,不是細胞;切分要以病人分組