外觀
Machine Learning › 工作流程
工作流程 (Workflow)
模型種類會變,但問題定義、資料切分、避免洩漏、交叉驗證、pipeline 與監控這些原則每個專案都會用到,是這個章節最值得反覆讀的部分。
建議順序
text
問題定義 → 資料切分 → 交叉驗證 → Pipeline → 調參 → 模型生命週期
↘ Kaggle 競賽流程(實戰整合)一句話原則:任何會從資料「學到」東西的步驟(補值、縮放、編碼、特徵選擇、閾值調整)都只能在訓練資料或訓練 fold 內 fit,最好交給 Pipeline 管理。
筆記
| 筆記 | 內容 | 回答的問題 |
|---|---|---|
| 問題定義 | 目標、預測單位、預測時點、錯誤代價 | 到底要預測什麼?怎樣算成功? |
| 切分策略 | 正確順序、分組 / 時間 / 快照切分 | 資料要怎麼切才不會騙自己? |
| 交叉驗證 | K-Fold、分層、分組、時間序列、Nested CV | 怎麼穩定地估計泛化能力? |
| Pipeline | Pipeline、ColumnTransformer、存檔 | 怎麼讓前處理不洩漏、上線可重現? |
| 超參數調整 | Grid / Random / Bayesian(Optuna) | 怎麼有效率地挑參數? |
| 模型生命週期 | 各階段產出、退化與重訓 | 模型上線後怎麼持續演進? |
| Kaggle 競賽流程(選讀) | local validation、baseline、ensemble | 怎麼建立能穩定判斷改動是否有效的實驗系統? |
常見失誤
| 失誤 | 後果 |
|---|---|
| 在整份資料上先做 scaling 或 target encoding,再切 train / test | 分數虛高 |
| 時間序列資料用隨機切分 | 用未來預測過去 |
| 測試集被反覆拿來選模型 | 測試集失去獨立性 |
| 只記錄最佳分數,沒記資料版本與前處理設定 | 結果無法重現 |