Skip to content

Machine Learning › 非監督式學習 › 異常偵測

異常偵測 (Anomaly Detection) ​

找出明顯偏離主要模式的觀測值。和前處理的 離群值處理 不同,這裡的目標通常是把罕見但重要的案例找出來(詐欺、故障、異常樣本),而不是刪掉它們。

建議順序 ​

text
核心概念(型態、分數 vs 閾值)→ Isolation Forest → 距離 / 密度方法(LOF)→ 時間序列異常

筆記 ​

筆記內容回答的問題
核心概念離群 / 異常 / 新奇、異常型態、contamination、評估什麼算異常?怎麼評估?
Isolation Forest隨機切分的隔離路徑長度大型表格資料的預設方法?
距離與密度方法KNN 距離、LOF、Gower 距離局部異常、混合型資料怎麼處理?
時間序列異常趨勢 / 季節分解、殘差、滾動基準「這個時間點」不尋常嗎?

方法速覽 ​

方法sklearn擅長弱點
Isolation ForestIsolationForest全域異常、高維、大資料局部異常
Local Outlier FactorLocalOutlierFactor局部異常、密度不均慢、對 n_neighbors 敏感
KNN 距離NearestNeighbors簡單直覺密度不均時誤判
One-Class SVMOneClassSVM乾淨訓練資料的新奇偵測對參數敏感、大資料慢
穩健共變異EllipticEnvelope近似多變量常態非常態資料
規則 / 統計門檻—可解釋、單變量抓不到多變量異常

同一個罕見點,在詐欺偵測中是訊號,在資料清理中是雜訊;處理方式由情境決定。有標籤後,問題就變成 不平衡分類。