外觀
Machine Learning › 基礎概念 › 特徵工程原則
特徵工程原則 (Feature Engineering Principles)
特徵工程是把原始資料轉成對模型有資訊量的輸入。好特徵帶來的提升常大於換演算法;爛特徵會引入 資料洩漏、雜訊或不穩定。
好特徵的三個條件:有資訊量、預測當下拿得到、夠穩定、能長期維護。
1. 先理解資料
特徵工程不是從「做一堆轉換」開始,而是先回答:
| 問題 | 為什麼 |
|---|---|
| 資料怎麼收集的? | 收集流程決定偏誤與缺失型態 |
| 每個欄位代表什麼? | 避免把流程副產品(審核狀態、處理時間)當成訊號 |
| 預測目標到底是什麼? | 決定哪些欄位與目標有合理關係 |
不理解資料來源與欄位語意,常會把無關、洩漏或雜訊欄位誤當有效特徵。
2. 刪除也是特徵工程
| 層級 | 優先檢查 |
|---|---|
| 欄位 | 自動產生的 ID、幾乎全是常數的欄位、與任務無關的描述、join 後重複的欄位 |
| 列 | 重複紀錄、格式錯誤、其實是錄入錯誤的極端值 |
刪重前先定義「哪些欄位組合相同才算同一筆」,不要機械地
drop_duplicates()。見 資料品質。
3. 常見特徵構造
| 類型 | 例子 |
|---|---|
| 數值轉換 | 右偏變數取 log(表現量、金額);見 資料轉換 |
| 時間拆解 | 星期幾、月份、是否假日、距今天數 |
| 組合 | 乘積(面積 = 長 × 寬)、比值(BMI)、差值 |
| 交互作用 | 兩個特徵相乘,讓線性模型捕捉交互效果 |
| 分箱 (binning) | 年齡 → 年齡層 |
| 存在 / 不存在 | 計數 → 是否 > 0 |
| 聚合 | 過去一段時間的次數、總和、平均(見 Basetable) |
| 領域知識 | 基因 → pathway 分數;序列 → k-mer 頻率、GC 含量 |
4. 缺失值也是特徵工程
| 步驟 | 內容 |
|---|---|
| 1. 量化 | 缺多少、集中在哪些欄位 |
| 2. 判斷機制 | 稀少且近似隨機?還是缺失本身帶有資訊(沒做檢查 = 醫師認為不需要)? |
| 3. 決定處理 | 刪除、補值(規則 / 統計量 / 模型),或另做缺失指標 (missingness indicator) |
重點不是有沒有補值,而是補值方式合理、且能在上線時重現。見 補值。
5. 尊重時間
| 規則 | 違反時 |
|---|---|
| 不用未來資料產生當下的特徵 | 時間洩漏 |
| 時間序列不隨機切分 | 用未來預測過去 |
| 聚合窗只使用預測時點以前的資料 | 特徵在上線時拿不到 |
事件紀錄、交易紀錄、使用者歷程類資料,先固定預測單位、reference date、特徵窗、目標窗,再判斷每個欄位能不能進模型,見 Basetable 與時間感知特徵。這步沒做好,後面的補值、編碼、縮放只是把錯的資料整理得更整齊。
風險
| 風險 | 說明 |
|---|---|
| 資料洩漏 | 特徵含有預測時拿不到的資訊 |
| 過於稀疏或雜訊大 | 增加變異、拖慢訓練 |
| 高基數類別編碼不穩 | 罕見類別的統計量不可靠,見 類別編碼 |
| 依賴會變動的業務規則 | 規則一改特徵就失效 |