Skip to content

Machine Learning › 非監督式學習 › 分群 › 高斯混合模型

高斯混合模型 (Gaussian Mixture Model, GMM) ​

假設資料來自 k 個高斯分配的混合,用 EM 演算法 (Expectation-Maximization) 估計每個成分的平均、共變異與權重。和 K-Means 的關鍵差別是軟分配:每個點得到屬於各群的機率。

K-MeansGMM
分配硬分配(只屬一群)軟分配(各群機率)
群形狀球形、大小相近橢圓形,可不同大小與方向(covariance_type="full")
選 k手肘 / silhouetteBIC / AIC(有概似函數)
關係等於所有成分共用球形共變異、硬分配的 GMM 特例—

用法 ​

python
import numpy as np
from sklearn.mixture import GaussianMixture
from sklearn.preprocessing import StandardScaler

X_scaled = StandardScaler().fit_transform(X)

# 1. 用 BIC 選成分數與共變異型態
bic = {(k, ct): GaussianMixture(k, covariance_type=ct, random_state=0).fit(X_scaled).bic(X_scaled)
       for k in range(1, 8) for ct in ["full", "diag", "spherical"]}
best_k, best_ct = min(bic, key=bic.get)

# 2. 配適與軟分配
gmm = GaussianMixture(n_components=best_k, covariance_type=best_ct, n_init=5, random_state=0).fit(X_scaled)
labels = gmm.predict(X_scaled)
proba = gmm.predict_proba(X_scaled)        # 每列加總 = 1
uncertain = proba.max(axis=1) < 0.9        # 歸屬不確定的點

GMM soft assignment and BIC

三個重疊的群:600 個點中有 118 個的最大歸屬機率 < 0.9,集中在群的交界。K-Means 會把它們硬分進某一群,GMM 則明確告訴你「這些點不確定」。右圖 BIC 在三種共變異型態下都選出 k = 3。

covariance_type群形狀參數量
"full"(預設)任意橢圓最多
"tied"所有群共用同一個橢圓中
"diag"軸平行的橢圓少
"spherical"球形最少

注意事項 ​

注意原因
不要用訓練 log-likelihood 選 kk 越多一定越高;用 BIC(懲罰參數量)
機率不是「真實」的群別只是在高斯混合假設下的後驗機率
群明顯非高斯(彎月形)時效果差改用 DBSCAN / HDBSCAN
高維、full 共變異時參數量爆炸先 PCA,或用 diag
EM 可能收斂到局部最佳n_init > 1

其他用途:GMM 也是密度估計器,score_samples 給出 log 密度,可用來做 異常偵測(密度很低的點 = 異常)。生資例子:流式細胞術 (flow cytometry) 的自動 gating、拷貝數狀態的分群。