Skip to content

Machine Learning › 監督式學習 › 分類 › SVM

支持向量機 (Support Vector Machine, SVM) ​

SVM 找一條不只分開兩類、還離兩邊最近的點越遠越好的邊界。這段「留白」叫間隔 (margin);決定邊界位置的少數點叫支持向量 (support vectors)。搭配 kernel 可以畫出非線性邊界。

概念說明
最大間隔間隔越大,對新資料越穩健
軟間隔 (soft margin)容許部分點越界或分錯,C 控制容忍度
支持向量在間隔上或越界的點;其他點移動不影響邊界
Kernel trick不必真的把資料映射到高維,就能在高維空間找線性邊界(= 原空間的非線性邊界)
損失Hinge loss,見 損失函數

C 與 gamma ​

參數小大
C(誤分懲罰)間隔寬、容許錯誤 → 較平滑(強正則化)間隔窄、盡量全分對 → 易過擬合
gamma(RBF 每個點的影響範圍)影響範圍大 → 邊界平滑影響範圍小 → 邊界圍著個別點打轉

SVM gamma effect

gamma=30 時邊界圍著藍色點形成一個個小島,需要 173 個支持向量(幾乎一半的訓練點),訓練 accuracy 最高、測試最低。C 與 gamma 要一起用 CV 調(對數尺度)。

kernel邊界何時用
"linear"(或 LinearSVC)線性特徵很多(文字、基因表現);p ≫ n 時常已足夠
"rbf"(預設)平滑非線性一般首選
"poly"多項式較少用

用法 ​

python
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC, LinearSVC
from sklearn.calibration import CalibratedClassifierCV
from sklearn.model_selection import GridSearchCV, StratifiedKFold

# 承乳癌範例;一定要縮放
cv = StratifiedKFold(5, shuffle=True, random_state=0)
search = GridSearchCV(make_pipeline(StandardScaler(), SVC()),
                      {"svc__C": [0.1, 1, 10, 100], "svc__gamma": ["scale", 0.001, 0.01, 0.1]},
                      cv=cv, scoring="roc_auc")          # AUC 用 decision_function,不需要機率
search.fit(X_train, y_train)
search.best_params_                                       # C=10, gamma=0.01;CV AUC 0.994
search.best_estimator_[-1].n_support_                     # [27, 25]:398 筆中只有 52 個支持向量

# 高維 / 大資料:線性 SVM
make_pipeline(StandardScaler(), LinearSVC(C=0.1))         # CV AUC 0.993

# 需要機率時:用 CalibratedClassifierCV 包起來
svm_proba = make_pipeline(StandardScaler(),
                          CalibratedClassifierCV(SVC(C=10, gamma=0.01), ensemble=False, cv=5))
svm_proba.fit(X_train, y_train).predict_proba(X_test)

sklearn 1.9 起 SVC(probability=True) 已 deprecated(預計 1.11 移除),官方建議改用 CalibratedClassifierCV(SVC(), ensemble=False)。舊做法內部也是 Platt scaling + 5-fold CV,既慢、機率又不一定準。

優缺點 ​

優點缺點
中小型、高維資料上表現強訓練時間隨樣本數超過平方成長(官方文件),超過數萬筆就很慢 → LinearSVC、SGDClassifier(loss="hinge")
只依賴支持向量,對遠處的點穩健必須縮放
Kernel 提供彈性的非線性邊界C、gamma 敏感,必須調參
線性 SVM 適合 p ≫ n不直接輸出機率;RBF 模型難解釋
適合不適合
樣本數百到數萬、特徵多的分類百萬筆以上的資料
文字、基因表現、光譜等高維資料需要可解釋係數或可信機率的情境
想要和邏輯斯迴歸、樹模型對照的強 baseline—