Skip to content

Data Science › Machine Learning

機器學習 (Machine Learning) ​

以「從問題到部署」的工作流程整理機器學習,而不是只羅列演算法。

只記演算法名稱、沒有先建立驗證設計與資料洩漏 (data leakage) 的觀念,很容易得到「分數漂亮但不能用」的模型。好的流程是:定義問題 → 切對資料 → 建 baseline → 在 pipeline 內前處理與調參 → 用對的指標評估 → 監控。

找方法:不知道該用哪個模型、指標或驗證方式時,先看 ML 方法速查。

模組 ​

模組核心內容回答的問題
基礎概念泛化、損失函數、bias-variance、正則化、資料洩漏、高維資料為什麼訓練分數高不代表模型好?
工作流程問題定義、資料切分、交叉驗證、pipeline、調參怎麼設計一個不會騙自己的實驗流程?
前處理缺失值、編碼、縮放、離群值、特徵選擇原始資料要怎麼變成模型能用的輸入?
監督式學習迴歸、分類、集成方法有標籤時該用哪個模型?
非監督式學習分群、降維、異常偵測、關聯規則沒有標籤時能找出什麼結構?
推薦系統(選讀)協同過濾、ALS、隱式回饋怎麼從使用者行為推薦項目?
模型評估指標、閾值、校準、類別不平衡、錯誤分析模型到底好不好?好在哪、錯在哪?
可解釋性與診斷特徵重要性、模型診斷模型依據什麼做預測?可信嗎?
上線與維運部署、監控、漂移、MLflow模型上線後怎麼維持品質?
套件scikit-learn、statsmodels特定套件怎麼用?

建議路線 ​

讀者路線
初學基礎概念 → 工作流程 → 前處理 → 監督式 / 非監督式學習 → 模型評估 → 可解釋性 → 上線與維運
生物資訊資料洩漏 → 高維小樣本 → 交叉驗證(Group / Nested CV) → Pipeline → 正則化 → 類別不平衡 → 降維 / 分群 → 可解釋性
統計背景損失函數(↔ MLE) → Bias-Variance → 正則化(↔ 先驗) → 交叉驗證 → 集成方法 → statsmodels

名詞對照 ​

ML統計說明
特徵 (feature)自變數、預測變數、解釋變數輸入 X
目標 (target) / 標籤 (label)依變數、反應變數輸出 y;label 指監督式學習中已觀測到的 y
訓練 (training)配適 (fitting)、估計找出參數
損失函數 (loss)負 log-likelihood見 損失函數
正則化 (regularization)收縮 (shrinkage)、先驗見 正則化
超參數 (hyperparameter)調整參數 (tuning parameter)訓練前就決定的設定,如 alpha、max_depth、n_neighbors
泛化誤差 (generalization error)預測誤差、樣本外誤差見 泛化

四條貫穿全程的規則 ​

規則為什麼
先切資料,再 fit 任何前處理scaler、imputer、encoder、特徵選擇在全資料上 fit 就是洩漏
驗證方式要符合資料結構分組、時間序列、重複量測不能隨機切
測試集只用一次反覆看測試集等於拿它調參
先和簡單 baseline 比沒有基準就無法判斷複雜模型是否真的有進步