Skip to content

Data Science › 資料處理與 EDA › 缺失機制

缺失機制 (Missing Data Mechanisms) ​

缺值「為什麼缺」決定了刪除或插補是否會造成偏誤。本篇只講機制與刪除策略;工具用法見 pandas 缺值 / R naniar,插補方法見 Imputation。

三種機制 ​

依缺失與「已觀測資料」、「缺失值本身」的關係分類(Rubin 1976):

機制缺失機率取決於例子直接刪除可用方法
MCAR(完全隨機缺失,Missing Completely At Random)都無關儀器偶發故障、樣本管意外破損無偏,但損失 power刪除、任何插補
MAR(隨機缺失,Missing At Random)只取決於已觀測變數年長病人較少回報體重(年齡有記錄)通常有偏在模型中納入相關變數;多重插補 (multiple imputation)、最大概似
MNAR(非隨機缺失,Missing Not At Random)取決於缺失值本身(控制已觀測變數後仍如此)重度憂鬱者不填量表;高收入者不報收入;蛋白質濃度低於偵測極限有偏選擇模型 (selection model)、模式混合模型 (pattern-mixture)、敏感度分析、針對機制建模(如 left-censored)

MCAR / MAR / MNAR 下 complete-case 平均的偏誤

模擬:value 與年齡正相關,約 40–50% 缺失。MCAR 下觀測到的分布只是整體的縮小版(偏誤 ≈ 0);MAR(年長者較常缺)與 MNAR(值越高越常缺)都讓 complete-case 平均偏低。差別在於 MAR 可以修正:以年齡迴歸 value 後再對全部樣本預測,平均就回到真值(60.0 vs 60.0);MNAR 則無法只靠觀測資料修正。

重點:無法單從資料證明是 MAR 還是 MNAR,因為判斷需要用到沒觀測到的值。Little's MCAR test 只能檢驗 MCAR,不顯著也不代表就是 MCAR(power 可能不足)。機制要靠對資料產生流程的了解來判斷,並對 MNAR 做敏感度分析。

刪除策略 ​

方法做法優點缺點
整列刪除 (listwise deletion / complete-case analysis)任一變數缺值就刪整列簡單;MCAR 下無偏樣本數驟減(每欄缺 5%、20 欄就可能少掉 ~64%);非 MCAR 時有偏
成對刪除 (pairwise deletion / available-case analysis)每次計算只刪用到的變數有缺的列保留較多資料各統計量的 n 不同;相關矩陣可能不是半正定 (not positive semi-definite),後續 PCA / 迴歸會出錯
python
df.dropna()                          # listwise
df.dropna(subset=["age", "bmi"])     # 只看分析用到的欄位
df.corr(numeric_only=True)           # pandas 的 corr 預設就是 pairwise

「每欄缺 5%、20 欄」的估計假設缺失彼此獨立:1−0.9520≈0.64。

生資常見的缺失型態 ​

情境機制處理方向
質譜蛋白質體學 (proteomics) 的缺值多為 MNAR:低豐度 → 低於偵測極限 (left-censored),混合部分 MCAR不要用平均數補;用最小值附近抽樣(如 MinProb)或考慮截尾的模型,並比較不同方法的結果
單細胞 RNA-seq 的 00 是「觀測到 0 個 UMI」,不是缺失;包含真實不表現與取樣不足不當缺值插補;以計數模型處理,見 計數模型
基因型資料 (genotype) 缺 call定序深度不足、特定區域難定序 → 常與位置有關依 call rate 過濾樣本 / 位點;以 reference panel 做 genotype imputation
臨床資料 (EHR) 缺檢驗值常為 MAR / MNAR:醫師只在懷疑時才開檢驗,「有沒有驗」本身帶資訊加缺失指標 (missing indicator);注意不要讓它成為洩漏
縱貫研究中途退出 (dropout)常為 MNAR:病情惡化或改善而退出混合效應模型(MAR 下有效)+ 敏感度分析,見 混合效應模型

相關筆記 ​

主題筆記
pandas 偵測、missingno、fillna / interpolatepandas 缺值
R 的 naniar、shadow matrixR 缺值
SimpleImputer、KNN、MICE、缺失指標Imputation
缺失之外的品質檢查Statistics:資料品質