Skip to content

Machine Learning › 監督式學習

監督式學習 (Supervised Learning) ​

用帶標籤的資料學習 X → y 的對應。重點不只是哪個演算法最好,而是先分清楚預測類別還是連續值,再搭配合適的前處理與評估。

建議順序 ​

text
迴歸:線性 → Ridge / Lasso / Elastic Net → 迴歸樹
分類:邏輯斯迴歸 → KNN → 決策樹 → SVM → Naive Bayes
集成:Bagging → 隨機森林 → Boosting(AdaBoost → Gradient Boosting → XGBoost)→ Voting / Stacking

模組 ​

模組內容回答的問題
迴歸線性、Ridge、Lasso、Elastic Net、迴歸樹連續值怎麼預測?特徵太多或共線怎麼辦?
分類邏輯斯迴歸、KNN、決策樹、SVM、Naive Bayes類別怎麼預測?各模型的邊界長怎樣?
集成方法Bagging、隨機森林、Boosting、Voting、Stacking怎麼組合多個模型讓預測更準、更穩?

模型速覽 ​

模型需要縮放非線性可解釋適合
線性 / 邏輯斯迴歸(+正則化)是否(需手動加特徵)高baseline、高維小樣本、要解釋係數
KNN是是中小資料、低維
決策樹否是高(淺樹)解釋規則;單獨用很不穩
SVM是是(kernel)低中小型、高維資料
Naive Bayes否—中文字、計數、極快的 baseline
隨機森林否是中表格資料的穩健預設,幾乎不用調參
Gradient Boosting / XGBoost / LightGBM否是中表格資料常勝軍,需調參

模型選擇的完整速查見 ML 方法速查。

實務提醒 ​

提醒原因
先做簡單、可解釋的 baseline乳癌資料上,標準化的邏輯斯迴歸(CV AUC 0.992)就和 SVM、XGBoost、stacking 打平
模型差異常小於資料切分與特徵工程的差異先把 工作流程 弄對
分類要及早想閾值與類別不平衡見 閾值與校準、類別不平衡
迴歸要先確認誤差尺度與離群值容忍度見 迴歸指標
要推論(係數、p 值)而不只是預測用 statsmodels 與 統計迴歸分析