Skip to content

Data Science › 資料處理與 EDA

資料處理與探索式分析 (Data Manipulation & EDA) ​

建模之前先把資料看懂。很多分析失敗不是模型選錯,而是太早建模,沒先確認欄位定義、缺失、重複、離群值與分布。

text
Profiling → 缺失機制 → 單變數 / 雙變數圖 → 記錄要修的欄位 → 統計 / 建模
筆記內容回答的問題
EDA 流程profiling 檢查表、起手式程式碼、omics 矩陣的 QC、判讀訊號拿到新資料第一步看什麼?
缺失機制MCAR / MAR / MNAR、刪除策略、生資常見的缺失型態缺值能直接刪嗎?會造成什麼偏誤?
視覺化圖表設計原則、Matplotlib、Seaborn、pandas plotting、ggplot2什麼問題配什麼圖?怎麼畫才不誤導?
地理空間資料(選讀)GeoPandas、geometry、CRS、空間 join資料有經緯度時要注意什麼?
相關連結
資料品質對統計的影響、生資陷阱Statistics:資料品質
多變數 EDA、相關矩陣、Simpson's paradox多變量探索
工具:缺值 APIpandas 缺值、R naniar
插補、離群值處理Imputation、Outlier Handling
群組隨時間的留存 / 流失Kaplan–Meier