Skip to content

Machine Learning › 非監督式學習 › 降維

降維 (Dimensionality Reduction) ​

把高維資料壓到少數幾維,同時保留重要結構。用途不同,方法就不同:建模前的特徵壓縮用 PCA;視覺化用 t-SNE / UMAP;要可解釋的非負成分用 NMF。

筆記 ​

筆記類型保留什麼主要用途
PCA線性最大變異方向(全域結構)特徵壓縮、降噪、建模前處理、QC 與批次檢查
t-SNE非線性局部鄰居關係視覺化
UMAP非線性局部鄰居關係(較快)視覺化;單細胞分析的標準嵌入
NMF線性、非負「部分相加」的成分主題模型、基因表現程式、突變特徵 (mutational signatures)

PCA vs t-SNE vs UMAP

怎麼選 ​

目的方法
下游模型的輸入、可 transform 新資料、可解釋變異比例PCA
只為了畫圖看群t-SNE 或 UMAP(通常先 PCA 到 30–50 維)
資料非負(計數、表現量、像素)且要可解釋成分NMF
要保留原始特徵的可解釋性不要降維,改做 特徵選擇

特徵選擇 vs 特徵萃取 ​

特徵選擇 (selection)特徵萃取 (extraction)
做法保留原始欄位的子集合組合原始欄位產生新欄位
例子變異數過濾、Lasso、RFEPCA、NMF、autoencoder
可解釋性高(仍是原始變數)較低(成分是組合)
用途減少資料依賴、解釋壓縮、降噪、視覺化

不使用標籤的過濾(缺失率、低變異、高相關)屬於非監督式選擇;使用標籤的選擇要放在 CV 內,見 資料洩漏。

維度詛咒 ​

維度升高時距離失去鑑別力、資料變稀疏、需要更多樣本才能維持相同密度。這是 KNN、分群、距離型異常偵測前要先降維或選特徵的原因,見 高維小樣本。