Skip to content

Machine Learning › 基礎概念

基礎概念 (Foundations) ​

幾乎每個建模決策背後都是這些觀念:模型要在沒看過的資料上表現好,而不是在訓練資料上。

建議順序 ​

text
問題類型 → 泛化 → 損失函數 → Bias-Variance → 過擬合 / 欠擬合 → 正則化
                                      ↓
         資料洩漏 → 高維小樣本 → 抽樣與代表性 → 評估思維 → 特徵工程 → Basetable

前半段是「模型為什麼會失敗」,後半段是「資料與驗證設計為什麼會讓你以為它沒失敗」。

筆記 ​

筆記內容回答的問題
問題類型與學習範式監督 / 非監督 / 自監督、迴歸 / 分類 / 排序這是哪一類問題?
泛化訓練 / 驗證 / 測試誤差、分布偏移為什麼訓練分數高不代表模型好?
損失函數MSE、MAE、Huber、log loss、hinge;與 MLE 的對應模型實際在最佳化什麼?
Bias-Variance 權衡誤差分解、模型複雜度誤差從哪裡來?
過擬合與欠擬合症狀、學習曲線、對策模型太複雜還是太簡單?
正則化L1 / L2 / Elastic Net、其他限制複雜度的方法怎麼控制模型複雜度?
資料洩漏洩漏型態、預防做法、檢查清單分數是不是作弊來的?
高維小樣本p ≫ n、維度詛咒、nested CV、生資情境基因數遠多於樣本數時怎麼建模?
抽樣與代表性抽樣 / 選擇偏誤、分布偏移、問卷訓練資料能代表上線後的資料嗎?
特徵工程原則資料理解、刪除、轉換、缺失、時間什麼是好特徵?
Basetable 與時間感知特徵reference date、時間窗、多快照、predictor insight事件資料怎麼整理成一張安全的建模表?