Skip to content

Machine Learning › 基礎概念 › 特徵工程原則

特徵工程原則 (Feature Engineering Principles) ​

特徵工程是把原始資料轉成對模型有資訊量的輸入。好特徵帶來的提升常大於換演算法;爛特徵會引入 資料洩漏、雜訊或不穩定。

好特徵的三個條件:有資訊量、預測當下拿得到、夠穩定、能長期維護。

1. 先理解資料 ​

特徵工程不是從「做一堆轉換」開始,而是先回答:

問題為什麼
資料怎麼收集的?收集流程決定偏誤與缺失型態
每個欄位代表什麼?避免把流程副產品(審核狀態、處理時間)當成訊號
預測目標到底是什麼?決定哪些欄位與目標有合理關係

不理解資料來源與欄位語意,常會把無關、洩漏或雜訊欄位誤當有效特徵。

2. 刪除也是特徵工程 ​

層級優先檢查
欄位自動產生的 ID、幾乎全是常數的欄位、與任務無關的描述、join 後重複的欄位
列重複紀錄、格式錯誤、其實是錄入錯誤的極端值

刪重前先定義「哪些欄位組合相同才算同一筆」,不要機械地 drop_duplicates()。見 資料品質。

3. 常見特徵構造 ​

類型例子
數值轉換右偏變數取 log(表現量、金額);見 資料轉換
時間拆解星期幾、月份、是否假日、距今天數
組合乘積(面積 = 長 × 寬)、比值(BMI)、差值
交互作用兩個特徵相乘,讓線性模型捕捉交互效果
分箱 (binning)年齡 → 年齡層
存在 / 不存在計數 → 是否 > 0
聚合過去一段時間的次數、總和、平均(見 Basetable)
領域知識基因 → pathway 分數;序列 → k-mer 頻率、GC 含量

4. 缺失值也是特徵工程 ​

步驟內容
1. 量化缺多少、集中在哪些欄位
2. 判斷機制稀少且近似隨機?還是缺失本身帶有資訊(沒做檢查 = 醫師認為不需要)?
3. 決定處理刪除、補值(規則 / 統計量 / 模型),或另做缺失指標 (missingness indicator)

重點不是有沒有補值,而是補值方式合理、且能在上線時重現。見 補值。

5. 尊重時間 ​

規則違反時
不用未來資料產生當下的特徵時間洩漏
時間序列不隨機切分用未來預測過去
聚合窗只使用預測時點以前的資料特徵在上線時拿不到

事件紀錄、交易紀錄、使用者歷程類資料,先固定預測單位、reference date、特徵窗、目標窗,再判斷每個欄位能不能進模型,見 Basetable 與時間感知特徵。這步沒做好,後面的補值、編碼、縮放只是把錯的資料整理得更整齊。

風險 ​

風險說明
資料洩漏特徵含有預測時拿不到的資訊
過於稀疏或雜訊大增加變異、拖慢訓練
高基數類別編碼不穩罕見類別的統計量不可靠,見 類別編碼
依賴會變動的業務規則規則一改特徵就失效

所有會從資料學習的轉換(補值、編碼、縮放、特徵選擇)都要放進 Pipeline。